크라우드 피어리뷰(Crowd Peer Review)는 전통적인 피어리뷰 방식의 대안이 될 수 있을까?

학술논문 평가에서 피어리뷰 과정은 필수적이지만 그 과정의 비효율성 때문에 많은 비판을 받고 있습니다. 피어 리뷰 자체가 자원봉사의 형식으로 진행되다 보니 바쁜 연구자들이 다른 저자들의 연구에 신경 써서 많은 시간을 투입해 평가하기가 쉽지 않고 시간도 많이 걸립니다. 그래서 이런 피어리뷰 방식의 공정성과 실효성에 대한 문제제기가 지속적으로 제기되어 왔습니다.

최근 이런 상황을 개선하기 위해 크라우드(crowd) 피어리뷰를 도입하려는 실험이 있었습니다. 화학합성 분야 저널 Synlett의 편집자인 벤자민 리스트는 조교인 데니스 호플러와 함께 전통적인 피어리뷰 방식과 다른 실험을 해 보았습니다. 우선 기존에 피어리뷰를 맡아 오던 연구자 100명을 모아 특정 논문 두 편에 대해 2~3인의 지정 리뷰 방식을 떠나 72시간 내에 어떤 것이든 선택하여 자유롭게 리뷰하고 코멘트를 달도록 했습니다.* 각 논문은 해당 시간 내에 모두 십여 건의 코멘트를 받았고 그 내용도 상세하고 편집자가 결정하는데 충분한 정보를 갖고 있었습니다.* 이후 8편의 논문을 더 하여 총 10편의 논문을 이런 크라우드 리뷰 방식으로 진행해 보았는데 리뷰 반응도 편집 결정에 유효할 정도로 충분했고, 무엇보다도 몇 개월이 걸리던 리뷰 과정이 불과 며칠 만에 끝난 것이 획기적이었습니다. 이런 시스템에 대한 논문 저자들의 반응도 긍정적이었습니다.

편집자가 처음 이 시스템을 동료들에게 제안했을 때 상당 수의 반응이 회의적이었습니다. 무엇보다도 다수가 리뷰에 참여하면 책임감이 떨어져서 성실한 리뷰가 이루어지지 않을 것이라고 보거나, 소수의 주도적인 리뷰어가 전체 과정을 장악해서 공정하지 못할 것이라는 우려가 컸습니다. 그런데 막상 10편의 논문을 테스트해 본 결과, 이러한 우려는 일어나지 않았고, 오히려 리뷰어들의 참여가 전통적인 방식보다 더 적극적으로 이루어 졌습니다. 편집자는 아마도 리뷰 과정에서 리뷰어들이 서로 소통하고 상호작용하는 형식으로 진행되어 더 큰 관심과 참여를 유도했었을 것이라고 판단했습니다.

그러면 이런 크라우드 피어리뷰 방식이 미래의 논문 평가 시스템의 대안이 될 수 있을까요? 현재의 테스트 결과를 놓고 보면 충분히 가능성이 있습니다. 우선 가장 우려되었던 리뷰의 공정성과 효과에 대해 전통적인 방식에 비해 뒤떨어지지 않는다는 것이 검증되었습니다. 저자들의 이의제기도 없었을 뿐 아니라, 오히려 리뷰어들이 더 풍부하고 유효한 정보를 제공해 주어 편집자들이 출판 여부를 결정하는데 더 용이했습니다. 이런 가운데 피어리뷰 과정에 걸리는 시간도 기존 방식보다 몇 배나 빨라져서 저널 입장에서 출판의 효율성도 높이고 더 많은 논문을 수용할 수 있는 여력이 생깁니다. 물론 연구원들의 입장에서도 자신들의 논문을 소수의 리뷰어들의 평가에 의존함으로써 공정성에 대한 우려를 갖기 보다 다수의 리뷰어들이 평가함으로써 이런 우려를 줄일 수 있고, 자신들의 논문에 대해 더 객관적이고 많은 피드백을 얻을 수 있어 도움이 될 것입니다. 논문 평가 시간이 단축됨으로써 얻는 심리적, 실질적인 이익은 말할 필요도 없습니다.

물론 이런 크라우드 피어리뷰 방식은 아직 초기 테스트 단계에 있기 때문에 분야별로 더 많은 테스트를 통해 그 유효성을 강화하고 잠재적인 문제점을 파악하고 개선해 나가야 합니다. 따라서 당분간 전통적인 피어리뷰 방식과 서로 영향을 주고 받으며 공존할 수 있습니다. 특히 기존 저널들이 전통적인 방식을 고수할 것인지 새로운 방식을 실험할 것인지는 자신들의 이해관계와 위상을 기준으로 고민해 보아야 할 사항입니다. 그러나 이런 새로운 방식의 효과가 확실히 검증되고 서서히 확산되어 간다면 기존 저널들도 이런 방식을 도입하여 전통적인 방식과 병합하거나 대체할 수도 있습니다. 어떤 과정을 통해서든 전통적인 피어리뷰 방식의 한계와 문제점을 개선하여 연구원들이 본연의 연구에 더 충실할 수 있게 되길 기대해 봅니다.