10

논문의 영향력을 평가하는 대체 메트릭스 (Alternative Metrics) 들을 소개합니다.

논문의 영향력을 평가하는 것은 학계 내 커뮤니케이션과 연구자들의 경쟁력 확보에 있어 중요한 요소입니다. 특히 연구자들의 수는 증가하지만 교수직 등 관련 일자리와 펀딩이 제한적인 상황에서는 더욱 중요한 요소가 됩니다. 전통적으로는 피어 리뷰와 같은 질적 평가 방식을 거치고 난 후, 임팩트 팩터나 h-인덱스와 같이 다른 연구자들에 의해 인용되는 빈도를 기준으로 평가해 왔습니다.

현재 학술 출판물의 형태가 전자출판으로 확대되고 있고, 저널 출판 이외에 다른 형식으로도 연구결과물을 제시하는 경우가 많아지면서 전통적인 저널 인용 지수의 적실성이 약화되고 있습니다. 연구자들은 이제 인터넷 상에서 자신의 연구물을 블로그에 올리거나 소셜 미디어를 통해 소통합니다. 연구 결과물도 인쇄물에서 벗어나 소프트웨어, 비디오 등 다양한 파일 형태로 발표되고 있습니다. 이런 시대 변화에 따라 전통적인 논문 인용 지수에 의한 영향력 평가에는 한계가 있다는 지적이 나오게 됐습니다.

해결방안으로 전통적인 영향력 평가 방식을 보완할 수 있는 대체 메트릭스가 나와야 한다는 목소리가 높아졌습니다. 이러한 주장은 2010년에 제이슨 프림 (Jason Priem)과 다리오 타라보렐리 (Dario Taraborelli) 등이 처음 사용하기 시작했습니다. 그들은 연구논문에 대한 인용 지수  뿐만 아니라, 프리젠테이션, 비디오, 웹페이지 등까지 포함하여 영향력을 평가해야 한다고 주장했습니다.* 이후 실제로 많은 연구자들이 소셜미디어를 커뮤니케이션 채널로 적극적으로 이용하기 시작하면서 이런 활동에 기반한 매트릭스로 연구의 영향력을 평가해야 한다는 주장이 설득력을 얻기 시작했습니다.

이제 대체 메트릭스는 알트메트릭(Altmetric), 플럼애널래틱스(Plum Analytics)와 같은 기업들 뿐만 아니라 바이오메드 센트럴(BioMed Central), 플로스(PLOS, Public Library of Science) 같은 출판사들도 사용하고 있습니다. 메디컬인터넷리서치저널(Journal of Medical Internet Research)은 2008년부터 자신들의 저널에 실린 논문에 대한 트위터 정보를 체계적으로 수집하기 시작했습니다. 영국 의학연구협의회(UK Medical Research Couincil)와 같은 펀딩 기관들도 대체 메트릭스에 관심을 보이기 시작했습니다.

대체 메트릭스는 플로스(PLOS) 등이 분류한 기준에 따라 크게 4가지로 분류됩니다.* 첫째, 열람(Browse)입니다. 이것은 인터넷 상에서 관련 연구물을 열람한 빈도와 PDF 다운로드 횟수를 기준으로 합니다. 둘째는 논의(Discussion)입니다. 이는 저널의 코멘트, 블로그, 위키피디아, 트위터, 페이스북 등의 소셜 미디어 등에서 언급되거나 논의된 경우에 해당합니다. 세번째는 저장(Save)입니다. 이는 맨들레이(Mendeley) 사이트유라이크(CiteULike) 등의 참고문헌용 소셜 북마크에 저장된 횟수를 의미합니다. 네번째는 인용(Citation)입니다. 이는 웹어브사이언스(Web of Science), 스코퍼스(Scopus), 크로스레프(CrossRef) 같은 학술문헌에 인용된 경우를 말합니다.

대체 메트릭스를 옹호하는 사람들은 많은 메트릭스가 과학의 발전에 영향을 미치고, 기여한다고 봅니다. 그리고 출판 논문의 수효가 많아지면서 저널 인용지수를 기반으로 한 임팩트 평가가 연구의 영향을 제대로 반영하지 못하고 있는데, 이를 보완하거나 대체해 주는 측면이 분명히 있습니다. 또한 유용성 측면에서 펀딩 기관들에게 특히 인기가 있습니다. 펀딩 기관들은 자신들의 펀딩으로 지원된 연구가 학계에 미치는 영향을 측정하고 이를 가시적으로 보여주길 원합니다.

물론 대체 메트릭스에도 분명히 한계는 있습니다. 측정 기준의 상이함, 데이터의 품질 편차, 특정 변수에 대한 의존도 등이 대표적인 한계입니다. 그리고 이런 대체 메트릭스들이 균형 잡힌 평가 기준으로 자리잡기 위해서는 일정 규모 이상의 데이터가 더 축적되어야 합니다. 뿐만 아니라 대체 메트릭스를 잘못 이용하거나 악용하는 경우도 있습니다. 자기 논문의 임팩트를 높이기 위해 스스로 인용하거나 호감도를 보여주는 “좋아요” 클릭을 매수하는 경우 등입니다.

대체 메트릭스가 부상하고 있지만 아직 초기라 그 효과와 영향을 전망하기는 어렵습니다. 그러나 분명한 것은 기존 문헌인용 기반의 영향 평가를 대체하지는 않을지라도 이를 보완하는 메트릭스로 작동할 수 있다는 것입니다. 또한 대체 메트릭스가 갖는 신속한 피드백과 평가가 연구계에 새로운 자극이 되고 학술연구의 관행도 개선할 수 있을 것으로 보입니다.

X

회원가입 후 더보기

무료로 보실 수 있는 기사 횟수에 제한이 있습니다. 구독하시면 논문작성
및 저널 출판에 관한 다양한 자료를 횟수제한 없이 이용하실수 있습니다.

  • 500개 이상의 출판뉴스
  • 50개 이상 웹세미나
  • 10개 이상 전문가 진행 팟캐스트
  • 10개 이상 이북
  • 10개 이상 체크리스트
  • 50개 이상 인포그래픽
여러분의 의견을 나눠주세요

대학교 입장에서 연구 및 학문 글쓰기 AI도구 활용에 대한 의견을 공유해 주세요.