연구 결과를 빨리 출판하고자 할 때 하는 실수들

2019년 12월에 세상에 나타난COVID-19(신종 코로나바이러스 감염증)은 전세계의 정치 경제 사회를 급격하게 변화시키고 있습니다. 과학분야 역시, 특히 의학 및 의과학 분야에 미친 신종 코로나바이러스 감염증의 영향은 매우 컸습니다. 그 중의 하나가 논문과 출판 전 논문에 관한 것입니다.

빨라진 COVID-19연구 결과 발표

과학저널에 자신의 논문이 출판되는 것으로 과학 연구자들은 자신의 연구에 대한 인정을 받고 그 내용을 공유함으로써 과학의 발전을 가져왔습니다. 지금도 잘 파악되지는 않았지만 범유행(팬데믹,  pandemic) 초기에 이 번 COVID-19은 더욱 더 정체를 알 수 없는 미지의 미스터리한 바이러스였습니다. 지피지기면 백전백승이라고 했는데, 전장에 들어선 군인이 정체를 모르는 무서운 적과 싸워야 한다면 무섭지 않을 수 없을 것입니다. 마찬가지로 COVID-19에 감염된 환자들을 치료하고 COVID-19의 전염을 차단해야 하는 최전선에 선 의료진들에게 COVID-19은 감염은 어떤 경로로 진행되고 치료 방법은 어떻게 시행되어야 하는 지 도저히 잘 알 수 없는 미지의 적이었습니다.

이와 같은 상황에서 전세계의 의학계 뿐 만 아니라 전세계의 사람들에게 COVID-19 과 관련된 정보의 빠른 공유는 매우 중요한 사안이 되었습니다. 이를 위해서 많은 과학저널들이  기존의 논문 초안 평가 및 출판에 걸리던 시간에 비하여COVID-19를 대상으로 한 연구 논문 초안들의 경우에는 패스트 트랙 방법으로 신속하게 피어 리뷰(Peer review)를 진행하여 급행으로 논문들로 출판되도록 편의를 봐주고 있습니다. 그리고 COVID-19 범유행 이전과는 달리 놀라울 정도로 많은 연구자들이 출판 전 논문에 관심을 갖고COVID-19 관련한 연구 결과들을 출판 전 논문의 형식으로 공개발표하고 있습니다.

신속한 정보 공유를 위해서 간과되고 있는 신뢰성

그러나 여기에서 우리는 이 급격한 변화를 다시금 되새겨 보지 않을 수 없습니다. 저널이나 논문 저자들이 논문의 신뢰성에 중심을 두지 않고 논문 출판의 속도에 중심을 두고 있을 때 과연 그렇게 출판된 논문들의 적합성이 문제가 되진 않을 까 하는 문제의식을 갖게 합니다.   COVID-19으로 인한 전세계적인 위기 상황으로 인한 비정상적일 수 밖에 없는 대처 상황에 대해서 한편으로 이해는 갑니다. 그러나 일을 처리 할 때 중요한 단계임에도 조급하게 과정을 생략하거나 심각하게 간소화 시키면 일의 처리 과정은 균형이 깨지게 되고, 종종 너무나도 쉽게 부정적 결과나 영향을 가져오곤 하기 때문에 이에 대한 경각심을 가져야 합니다. PLOS Biology의 편집장이었고 출판 전 논문의 서버인 medRxiv에 관여해왔던  Emma Ganley는  ‘Publish In Haste, Repent At Leisure’에서 COVID-19으로 인하여 빠르게 진행되어 공개 된 출판 전 논문들과 저널에 발표된 논문들을 독자들이 비판적인 시각없이  읽어서는 안된다는 것을 강조하여 이야기 하고 있습니다. 독자들은 피어 리뷰 없이 공개된 출판 전 논문이나 피어 리뷰를 통과해서 저널에 발표된 논문이나 모두 그 신뢰성에 관해서 다시 한 번 생각해 봐야 합니다. 이번 COVID-19과 관련된 연구 결과로 공개되었다가 곧 다시 취소된 출판 전 논문들이나 저널에 발표된 논문들은 이를 뒷받침 해주고 있습니다. 그 예로 the New England Journal of Medicine에 2020년  5월 1일에 출판되었다가 6월 2일에 취소된 Mehra et al.의 논문과 1월 31일에 bioRxiv공개하였다가 2월 2일에 취소한 Pradhanet al.의 출판 전 논문이 있습니다.   

연구 결과의 빠른 출판을 위해서 흔히 하게 되는 실수들

The University of Leeds의 Behavioral Economics 교수인 Peter Howley 도 이에 관한 의견을 ‘COVID-19 research: are we moving too fast?’ 에 피력하며 과학자들이 그들의 연구와 연구 결과에 대한 정확성과 발표 속도 간의 균형을 갖도록 요구하였습니다.

과학자들이 자신의 연구 결과와 고찰을 발표하기 위해서 통상 몇 달에서 몇 년의 시간을 들여서 논문을 완성하여가게 되는데, COVID-19과 관련된 논문들은 몇일의 시간을 단위로 해서 발표하고 출판하게 되니 많은 문제점들을 안고 갈 수 밖에 없는 상황에 처하게 되었다는 것입니다. 그 대표적인 문제점들로는 작은 표본 수와 승자의 저주(winner’s curse)와 다중 비교(multiple comparison) 문제점과 의도적으로 연구 결과를 취사선택하여 보고하는 것 등이 있습니다. 이러한 고려 사항들이 연구자들이 자신도 모르게 갖을 수 있는 확증 편향(Confirmation bias)과 맞물려 잘못된 정보를 발표하고 공유하게 될 수 있는 것입니다.

또한 저널들에서도 COVID-19관련 정보의 수요와 그 긴급성을 인식하고 COVID-19관련 논문 초록을 위해서는 기존보다 빠른 피어 리뷰 과정으로 처리 기간을 단축해서 짧은 시간 안에 논문으로 출판 되도록 도와 주고 있습니다. 그러나 졸속 피어 리뷰를 통해서 불완전하게 완성되거나 잘못된 내용의 논문을 출판하게 되는 잘못을 몇몇 논문들에서 확인하게 되었습니다.  Hydroxychloroquine관련해서 Lancet  저널에 발표된 논문에서는 이 물질이 COVID-19환자를 치료하는 데 효과가 있다고 보고 하고  있었지만, 추후에 확인된 사실은 오히려 위험을 증가시키는 작용을 하고 있었다는 것입니다. 이로 인해서 the World Health Organization(WHO)은 COVID-19의 치료 방법을 찾기 위해서 시행 중이던 관련 임상시험들을 멈출 수 밖에 없었습니다. 일상적인 피어 리뷰였다면 Hydroxychloroquine을 제조하던 제약회사의 불투명한 지원을 받았다는 것을 알아채고 출판을 거절했을 논문 초록이 버젓이 유명 저널에 출판되어 잘못된 정보를 제공하였던 것입니다. 또 다른 한 예는 출판 전 논문으로 발표된 연구입니다. 페이스 북 광고를 통해서 모집된 3,330 사람들에게서 COVID-19 항체를 조사했던 연구에서 치명률 (치사율)이 실제보다 낫게 측정되었고 이 자료는 미국의 COVID-19 관련 대책을 세우는데 자료가 되어서 사태를 실제보다 가볍게 여기고 안일한 대책을 수립하는 데 일조를 하고 말았습니다. 심지어 COVID-19 항체를 찾는 그 논문의 다른 문제점은 미국의 Santa Clara지역의  표본을 모으는 과정에서 나타난 선택 편향 (Selection bias)이었습니다. 선택 편향은 표본의 대표성을 훼손하고 표본의 임의적 또는 무의식적 선택에 의해서 또는 관찰 도구의 편향으로 인해서 발생하며 통계 분석을 왜곡하게 만들고 잘못된 결과를 유도하게 됩니다.

이번 COVID-19관련 논문 중 좀더 교란요인(Confounding factors)들을 신중히 고려하지 못하고 발표 된 것으로 COVID-19 위험성과 비타민D와의 관계를 밝힌 논문이 그 한 예가 됩니다. 위도에 따라 일사량이 적기 때문에 같은 유럽 연합(European Union)에서 조사한 표본이라도 북유럽과 남유럽 간의 사람들이 평균적으로 섭취하는 비타민D의 양이 다르기 때문에 실질적인 원인과 결과로서 비타민 D가 작용했던 것이 아니라 단순히 교란요인으로 연관성을 보였을 가능성이 매우 높은 것을 간과하고 이에 대한 충분한 평가 없이 신속한 정보공유를 이유로 논문으로 출판되었습니다.

끝말

홍수와 같이 쏟아지고 있는 COVID-19 관련 논문들의 양적 팽창은 비단 논문 저자들 만의 노력 때문 만은 아닙니다. 많은 저널들이 COVID-19과 관련된 논문 초록들을 출판하는 데 걸리는 처리 속도가 기존보다 2배는 빠르게 진행하고 있고, 이와 같은 노력은 2020년 4월 14일자로 피어 리뷰를 받은 COVID-19관련 11,000개 이상의 논문 초록들 중 80% 정도가 출판되는 결과를 가져 왔습니다. The University of Pittsburgh Medical Center의 신경과의사 Sherry Chou는 Jeffrey Brainard의 ‘Scientists are drowning in COVID-19 papers. Can new tools keep them afloat?’ 기사에서 무서울 정도로 물량공세로  COVID-19관련 논문들이 쏟아내는 정보량이 매년 열리는 의학 컨퍼런스를 매일 여는 것과 같을 정도로 많다는 것을 강조하면서 어떻게 이를 소화해 내야 하는지 걱정하고 있다고 얘기하였습니다. 이와 같이 저널이나 논문 저자들이 신중성보다는 신속성을 선택해서 논문 출판을 하고 있을 때 독자들은 좀더 비판적인 시각을 갖고 정보에 접근해야 하고 이는 결국 모두에게 피로감을 안겨주고 저널에 출판 된 논문이나 출판 전 논문이나 모두에게 신뢰감을 주기가 힘들어지게 될 수 있기에 심각한 문제가 아닐 수 없습니다. 그러므로 저널에서도 신속한 피어 리뷰 외에 신중한 평가과정을 위한 보완책을 생각해봐야 하며, 논문을 쓰는 저자들도 앞에서 언급한 쉽게 오류를 만들게 되는 점들을 고려해서 실험 계획에서부터 실험 결과 분석 작성까지 주의하도록 해야 합니다.  그러나 완벽한 논문이란 세상에 있기가 힘들기에 논문을 접하는 독자들도 비판적이고 건설적인 시각을 갖고 접근하고 AI와 같은 프로그램의 도움을 받아서 의미 있고 중요한 사실들을 쉽게 찾을 수 있도록 적극적인 태도를 가져야 합니다.