논문 출판 이후의 흐름을 파악하는 방법들

저널에 출판된 논문의 사용현황, 영향력을 측정하기 위해 다양한 지표들이 사용되어 왔습니다. 그러나 각 지표는 장단점을 가질 수 밖에 없습니다. 논문을 기준인지, 아니면 해당 논문이 출판된 저널을 기준이 기준인지에 따라 영향도의 산정이나 그 결과의 해석도 달라지는 경우도 많습니다.

– 학술 저널의 질을 측정하기

학술 저널의 임팩트 팩터(Journal Impact Factor; JIF) 및 실효성에 관한 우려가 적지 않습니다. 임팩트 팩터는 통계적으로 불완전한 지표 있니다. 예를 들어, 모든 인용을 조사하는 대신 브래드포드(Bradford) 분포 상에 있는 인용 수를 계산한 후, 이를 바탕으로 산술 평균(Arithmetic mean)을 내게 됩니다. 또한 피인용 수는 저널이 아닌 논문을 기준으로 측정됩니다. 많은 저널들은 피인용 횟수가 적은 논문의 수를 제한하거나 피인용 횟수가 높은 논문(리뷰 논문 등)의 수를 의도적으로 늘리며 순위를 조작해 왔습니다. 게다가 ‘강제 인용(Coercive citation)’의 사례를 보면, 특정 저널에 자신의 논문을 제출하는 저자들은 해당 저널 자매지의 논문을 인용하도록 강요 받는 경우도 많습니다.

– 뚜렷한 대안이 없는 상황

저널 임팩트 팩터를 대체할만한 경쟁 지표가 없기 때문에, 현재 일반적으로 사용되고 있습니다. 상기 언급된 비판에도 불구하고, 저널 임팩트 팩터는 ‘없는 것보다는 나은’ 수준으로 생각할 수 있습니다. 논문의 임팩트팩터는 결국 저널의 순위를 올리는데 기여하게 되어, 해당 저널 측에서는 손해 볼 것이 없기 때문입니다.

– 프로젝트 카운터(Project Counter)

온라인 전자매체 자료의 사용을 측정하는 방식(Counting Online Usage of Networked Electronic Resources)은 추적(Tracking) 사용 측정에 대한 대안으로써 2002년에 도입되었습니다. 이는 기존 산술집계방식을 거부하는 저널과 출판사들이 기금을 지원한 국제 이니셔티브의 일종입니다. 새로운 방식에 따르면 논문•기사의 실제 사용 빈도를 측정하기 위해, 문서의 일부가 아닌 전체 요청에 초점을 맞춥니다. 이러한 방식은 법인의 회계감사 보고서에서 사용되는 방식과 지향점이 같습니다. 보고서는 결과 데이터를 인증하기 위해 정기적인 감사(체크)를 받아야 합니다. 또한 관련 사례는 기술의 발전을 따라 잡기 위해 정기적으로 업데이트됩니다.

그러나, 프로젝트 카운터 방식도 저널 임팩트 팩터 측정 방식과 유사한 문제점이 발견됩니다. 프로젝트 카운터에 따르면, 누군가가 논문을 요청했다는 사실만 증명 가능하지, 요청자가 해당 논문을 가지고 무엇을 했는지는 알 수 없습니다. 실제로 논문 전체를 읽고 이를 자신의 연구에 구현했는지, 아니면 단순 참조에 그쳤는지에 관해서는 증명이 어렵습니다. 단지 논문이 사용되지 않았다는 것만으로 해당 논문이 유용한지 그렇지 않은지 판단하기 힘든 경우도 많습니다.

– Altmetrics라는 신세계

연구자들은 논문 수준의 지표 중 하나인 Altmetrics에 다시 의존하고 있는 것으로 보입니다. Altmetrics은 2011년 도입되었으며, 학술문헌의 온라인 영향력을 측정하는 지표입니다. Altmetrics 방식에 따르면, 누가 논문을 사용하고 있는지, 그리고 출판된 학술논문으로부터 누가 실제로 가치(효용)을 얻었는지에 관해 평가할 수 있습니다. 이 방식은 다른 측정 방식들보다 훨씬 많은 양의 사회적 관계 데이터를 측정할 수 있습니다. 관심 논문의 사용은 물론 가치(효용)도 측정할 수 있기 때문에 최근 크게 각광 받고 있습니다.