N 2020년,  1학년 대학원생인 Laura Luebbert는 저널 클럽에서 꿀벌의 흔들림 춤에 대한 두 편의 고전 논문을 발표하라는 요청을 받았습니다. 개별 꿀벌은 이 춤을 사용하여 벌집의 나머지와 음식의 방향과 거리에 대해 소통합니다. Luebbert는 이 주제에 익숙하지 않았기 때문에 추가 연구를 읽기로 했습니다. 최근 블로그 게시물에서 그녀는  읽는 동안 "뭔가 이상한 것을 느꼈습니다. 같은 데이터를 계속해서 보고 있는 것 같은 느낌이 들었습니다."라고 썼습니다.

루버트는 결국 캘리포니아 공과대학의 그녀의 조언자인 계산 생물학자 리오르 패처와 팀을 이루었습니다. 그들은 함께 유명한 과학자 만디암 비람부디 스리니바산이 공동 집필한 일련의 꿀벌 논문을 분석했습니다. 이 둘은 궁극적으로 "수많은 논문에서 문제가 있는 행동"이라고 특징지은 것을 발견했습니다.

대학원생이었던 로라 루버트는 꿀벌 흔들기 춤에 대한 문제가 있는 연구를 발견했습니다. 하지만 루버트는 처음에는 "아무도 저와 그것에 대해 이야기하고 싶어하지 않았습니다."라고 말했습니다.

비주얼: Laura Luebbert 제공

 루에버트와 파흐터는 5월에  사전 인쇄 서버 에 공개된 원고에서 그들의 연구 결과를 개략적으로 설명했습니다  . 하지만 그들의 우려는 7월에야 많은  주목을 받았는데, 파흐터가  이전에 트위터로 알려진 플랫폼인 X에 꿀벌 연구를 "쓰레기"라고 부르는  지금은 널리 알려진  스레드를 게시했기 때문입니다.

이후 스리니바산은 두 사람의 블로그 게시물에 응답하며, 그들이 "비전문적인 방식"으로 조사를 진행했다고 비판했습니다. 그는 그에게 직접 연락하는 대신 "그들은 조사하고 있는 과학 분야에 대한 제한된 이해에 근거하여 결론을 도출했습니다."라고 썼습니다. 그는 이런 종류의 행동은 "과학 발전에 도움이 되지 않습니다."라고 썼습니다.

루버트는 최근 박사 학위를 마쳤고 이번 가을에 브로드 연구소에서 박사후 연구원으로 일할 예정입니다. 줌 인터뷰에서 그녀는 논쟁과 과학 문헌의 결함이라고 그녀가 특징짓는 것을 바로잡기 위한 수년간의 노력에 대해 이야기했습니다. 우리의 대화는 길이와 명확성을 위해 편집되었습니다.

언다크: 세계적으로 유명한 연구자의 논문을 읽고 데이터를 의심하는 대학원생으로서 불안했을 거라고 생각합니다. 당시의 생각과 감정을 기억하십니까?

로라 루버트:  저는 분명히 충격을 받았는데, 사실 우리는 정말 동일한 데이터에 대해 이야기하고 있거든요. 그래서 저는 확실히 제가 실험을 올바르게 해석하고 있는지 확인하는 데 많은 시간을 보냈습니다. 저는 제 발견에 대해 다른 과학자들, 특히 곤충 행동에 대한 전문가인 다른 과학자들과 논의하고 싶었습니다. 그래서 저널 클럽에 [발표할] 때가 되었을 때, 저는 당시 발견한 중복 데이터의 모든 사례를 보여주는 매우 자세한 토론 섹션을 포함했습니다.

제게 정말 충격적이었던 것, 제게 정말 큰 충격을 준 것, 그리고 박사 학위를 받는 동안 계속 붙잡고 있던 좌절감이 바로 그때 제가 받은 반응이었습니다. 아무도 저와 그것에 대해 이야기하고 싶어하지 않았습니다. 전혀 관심이 없었고 놀라움도 전혀 없었습니다. 제가 연락한 선임 과학자들은 그저 "그래, 과학은 바로 그런 거야."라고 말했습니다.

UD: 당신이 직접 이야기를 나눈 과학자들이 이 문제에 관심이 없는 것 같던데, 이 사실을 알리기 위해 어떤 노력을 했나요?

LL:  저는 그것에 대해 트윗했습니다. 당시에는 팔로워가 거의 없었기 때문에, 그것이 실제로 소문을 퍼뜨린 것은 아니었습니다. 하지만 언급할 만한 정말 가치 있는 코멘트는 문제가 있는 논문을 표시하는 데 정말로  경력을 쌓은 엘리자베스 빅 박사의 코멘트였습니다  . 그녀는 제가 PubPeer에서 실제로 이러한 논문을 찾도록 도와주었고, 거기에 코멘트를 쓰도록 격려하기도 했습니다. 그래서 저는 당시 PubPeer에 익명으로 코멘트를 썼는데, 저자와 저널에서 완전히 무시당했습니다. 하지만 적어도 저는 "좋아요, 거기에 있어요."라고 생각했습니다.

UD: PubPeer란 무엇인가요?

LL:  PubPeer는   개별 논문에 댓글을 추가할 수 있는 웹사이트 입니다.

UD: 결국 당신은 Lior Pachter의 연구실에 들어갔고, 두 분이 이 작품군을 주의 깊게 살펴보기로 결정한 것 같습니다. 왜 아무도 이전에 이런 일을 하지 않았다고 생각하십니까?

LL:  그렇게 쉬운 일은 아니에요. 매우 감사받지 못하는 작업이죠. 우리는 정말 많은 시간을 이 논문들에 투자했고, 논문을 읽고, 논문을 이해하려고 노력했고, 우리가 발견한 것과 문제가 있다고 생각한 것에 대한 매우 객관적인 보고서를 쓰려고 노력했습니다. 이런 종류의 작업은 시간이 많이 걸리고, 대부분 과학자들에게는 가치가 없습니다. 그저 감사받을 줄 모릅니다. 오히려 그 반대입니다. 이런 문제에 대해 이야기하면 제 경력에 정말 치명적일 수 있다는 말을 들었습니다.

UD: 이 작업에 얼마나 많은 시간을 투자하셨나요?

LL:  꽤 많아요. 저널 클럽을 처음 준비할 때는 팬데믹이 시작될 무렵이어서 어차피 집에 갇혀 있었어요. 정말 한 달 동안 풀타임으로 작업했어요.

그래서 사실, 이건 당신이 물은 질문과는 아무 상관이 없지만, 우리가 논문을 다시 읽은 이유는 이 좌절감이 제게 너무나 강했기 때문입니다. 리오르와 제가 박사 학위를 받고 난 뒤 하고 싶은 일에 대해 이야기할 때, 제가 학문적 과학이 저에게 맞지 않다고 생각하는 이유로 이것을 언급했었습니다.

Lior의 답변은 제가 전에 받았던 답변과 전혀 달랐습니다. 그는 즉시 "잠깐만요. 방금 이걸 발견했는데 아무도 신경 쓰지 않았어요? 결코 공개되지 않았어요?"라고 말했습니다. 저는 그에게 제 발견 사항을 보여줬고, 그는 정말 충격을 받았습니다. 그런 다음, 우리가 함께 논문을 읽는 동안, 우리는 실제로 훨씬 더 많은 문제를 발견했습니다.

10월부터 리오르와 저는 원고 작업을 시작했습니다.

UD: 와, 지금은 7월이군요. 원고를 게시한 건—

LL:  5월이에요.

UD: 오랜 시간이군요. 이 작업이 박사 연구와 경쟁했나요?

LL:  네, 물론이죠. 저는 또한 박사 학위를 마치려고 노력했는데, 그것은 곤충 행동과는 전혀 관련이 없습니다.

UD: 블로그 게시물에서 당신은 일부 꿀벌 논문의 출판사에 연락하려는 노력과 원고를 프리프린트 서버에 올리려는 노력에 대해 썼습니다. 그 과정은 그렇게 쉬운 것 같지 않습니다. 저널과 프리프린트 서버가 그 결과에 관여하기를 꺼린 이유는 무엇이라고 생각하십니까?

LL:  저널이 주저하는 이유부터 시작하겠습니다. 불행히도 저널의 경우 현재 인센티브가 일치하지 않습니다. 저널은 자체적인 심사 절차가 있지만 논문이 출판되면 저널은 출판한 논문에 문제가 있을 수 있다는 것을 인정하고 싶어하지 않습니다. 이런 종류의 과학은 우리가 사물에 의문을 제기하고 때로는 잘못된 것을 얻기 때문에 과학이 작동하는 방식에 실제로 어긋납니다.

분명히 이 경우, 우리는 더욱 엄청난 오류에 대해 이야기하고 있습니다. 하지만 저널은 자신의 동료 검토 과정에서 제기되지 않았다면, 출판한 논문에 문제가 있었다는 것을 인정하기를 정말 꺼립니다.

사전 인쇄 서버의 경우: 우리는  bioRxiv 로 시작했습니다 . 그들은 새로운 연구만 출판한다는 매우 구체적인 규칙을 가지고 있는데, 제가 이해합니다. 저는 그것이 괜찮다고 생각하지만, 그것은 이런 종류의 작업을 위해 다른 플랫폼이 필요하다는 것을 의미한다고 생각합니다. 그리고 Lior와 저는 이 원고를 쓴 후에 이런 작업을 내놓는 것이 정말 어렵다는 것을 알게 되었습니다. 플랫폼이 정말 없습니다.

우리는 arXiv 에 원고를 게시할 수 있어서 정말 감사합니다   . 하지만 우리는 사람들이 원고에 대해 코멘트할 수 있기를 원해서 블로그 게시물도 썼습니다. 이 모든 것은 이런 종류의 작업을 게시할 더 나은 플랫폼이 필요하다는 것을 보여줍니다.

UD: 연구자들이 문제가 있다고 생각되는 것을 발견했을 때, 첫 번째 단계로 연구 저자, 저널 또는 다른 사람에게 연락해야 할까요?

LL:  저는 그것이 해결된 문제라고 생각하지 않습니다. 그게 바로 제가 겪었던 문제였습니다. Caltech의 선임 교수들조차도 저를 어디로 보내야 할지 몰랐습니다.

UD: 스리니바산은 당신과 파흐터가 "비전문적인 방식"으로 조사를 진행했다고 말했습니다. 당신은 어떻게 대응하시겠습니까?

LL:  저는 그가 비전문적이라고 생각한 것이 정확히 무엇인지 모르기 때문에 그에 답하기 어렵다고 생각합니다. 저희 원고를 읽어보셨다면, 저희는 누구의 이름도 언급하지 않고 논문에서 발견한 내용을 매우 객관적으로 전달하기 위해 정말 많은 노력을 기울였습니다. 저희가 블로그 게시물을 쓴 이유는 Srinivasan을 포함한 과학자와 전문가가 저희가 발견한 문제에 대해 응답하고 이야기할 수 있는 플랫폼을 제공하기 위해서였습니다. 그리고 저희는 모든 분석이 매우 투명하고 재현 가능하도록 했습니다.

UD: 이런 종류의 불일치가 발견되는 곳이 동료 검토가 되어야 하거나 될 수 있다고 생각하십니까? 대부분의 동료 검토자는 연구자의 과거 작업을 보고 데이터나 기술이 연구마다 달라지는지 확인합니까?

LL:  리오르와 내가 한 일은 동료 검토였습니다. 저널에 국한된 동료 검토 프로세스 밖에서 일어난 일이었습니다. 저널의 동료 검토자가 논문을 검토할 때마다 모든 작업을 살펴보기를 기대하는 것은 합리적이지 않다고 생각합니다. 그들은  무급으로 동료 검토를 하고 있기 때문입니다 .

하지만 저는 출판 후 동료 검토를 위한 플랫폼이 있어야 한다고 생각합니다. 이런 종류의 문제가 출판 전에 발견되면 저널은 출판 후와는 매우 다르게 대응합니다. 어떻게든 모든 것을 덮어두려는 동기가 있기 때문입니다.

UD: 앞으로 어떤 일이 일어나기를 바라시나요?

LL:  저는 [꿀벌 연구] 저자들로부터 더 객관적인 응답을 보고 싶습니다. 우리가 이야기한 것 중에 실제로 설명할 수 있는 것이 있는지, 또는 여전히 사용 가능한 데이터가 있고 실제로 분석을 다시 할 수 있는지 알아보고 싶습니다.

UD: 당신과 패처는 새로운 원고를 저널에 제출할 예정인가요?

LL:  우리는 아직 그것에 대해 이야기하지 않았습니다. 우리의 주요 목표는 과학 기록을 바로잡는 것이었고, 거기에 도달하기 위해 바이럴 트윗이 필요했던 것은 매우 불행한 일이었지만, 적어도 지금은 대중의 반응이 충분해서 저널들이 그것을 조사할 수밖에 없었습니다.

그리고 더 중요한 것은, 우리의 발견이 곤충학 및 행동 커뮤니티 내에서 널리 공유되었다는 것입니다. 그러나 원고가 검토되어 동료 검토를 거쳐 저널에 게재된 것으로 인용될 수 있다면 여전히 좋을 것입니다.

UD: 블로그 게시물에서 두 분은 과학자나 과학자 팀의 연구를 검토하는 데 전념하는 저널을 제안했습니다. 그것에 대해 조금 이야기해 주시겠습니까?

LL:  Journal of Scientific Integrity는 이런 종류의 작업을 할 곳이 필요하다는 생각이었습니다. 우리는 원고를 썼고, 이를 위한 장소가 전혀 없다는 것을 깨달았습니다. 흥미롭게도, [X]에서 과학자들로부터 실제로 그런 저널에 자금을 지원하려고 했지만 불행히도 관심이 거의 없다는 내용의 응답을 많이 받았습니다.

UD: 추가로 말씀하실 말씀이 있으신가요?

LL:  연구의 본문을 주의 깊게 검토하는 것은 과학의 발전에 매우 중요합니다. 종종 생명을 구합니다.  Theranos 와 같은 사례에서 이를 보았습니다. 또는 Elisabeth Bik 박사는 실제로 환자와 함께 일하는 Didier Raoult 교수의 문제가 있는 연구를  많이  공개 했습니다   . 따라서 문제가 있는 연구를 검토할 때 말 그대로 생명이 위험에 처하게 됩니다.

분명히 스리니바산의 경우, 그는 인간의 건강에 대해 연구하지 않습니다. 하지만 저는 여전히 논문을 신중하게 검토하는 것이 과학에 매우 중요하다고 생각하고, 이는 저희 논문에도 해당합니다. 따라서 스리니바산을 포함하여 누구나 저희 원고를 신중하게 검토하고, 특히 저희가 잘못한 것이 있다면 그에 대해 의견을 제시할 수 있고, 그래야 합니다. 저는 과학의 요점은 함께 진실을 찾으려는 것이라고 생각합니다.