「 インパクトファクター 」の問題とその行方

「 インパクトファクター （IF: impact factor）」は、ジャーナル（学術雑誌）のレベルを評価する指標として知られています。「ジャーナル・インパクトファクター（JIF: journal impact factor）」と呼ばれることもあり、「文献引用影響率」と訳されることもあります。研究者たちは論文の投稿先を選ぶときだけでなく、研究者を評価するときにもこれを参考にしてきました。しかしインパクトファクターを批判する研究者も少なくありません。
インパクトファクターの計算方法は一見単純です。簡単にいえば、過去2年間で論文が引用された平均回数です。たとえば、『ネイチャー』のインパクトファクターは現在、「41.456」です。この数字は、過去2年間で同誌に掲載された論文それぞれが平均約41回引用された、ということを意味するのだと一般的には解釈されています。
「しかしこの数字は簡単に誤解される」と、『サイエンス』誌のジョン・ボハノン記者は警告します。

たとえば、もし論文の引用回数が人々の身長のようなものだとしたら、その平均の数字は参考になるだろう。平均すれば、男性は女性よりも背が高い。実際のところ、人々の身長を推測するとき、性別だけわかっていれば、ランダムに推測するときよりは正しく推測できる。しかし、既存のジャーナルで公表されている論文についていえば、引用の分布はきわめていびつなものである。ごく一部の影響力のある論文だけがほとんどの引用（数）を勝ち得ている一方で、大多数の論文はわずかしか引用されていないか、まったく引用されていない。そのため引用の平均数はしばしばきわめて誤解を招くものになる。

また同記事は、インパクトファクターには一般的に2つの問題がある、という専門家の見解を紹介しています。第一に、予測として無意味なこと。インパクトファクターが高いジャーナルで論文が掲載されることは、必ずしも引用されやすいことを意味するわけではない、ということです。第二に、計算方法が不透明であること。計算しているのはトムソン・ロイターです。同社は、科学論文のデータベース「Web of Science」を運営していることでも知られています。そしてその計算方法は公開されていません。
しばしば批判されるインパクトファクターの謎を解明するために、ジャーナルの編集者たちと研究者グループが、そのデータセットを公表し、この指標を計算するために使われる引用数を分析しました。この研究を率いたのは、カナダのモントリオール大学でジャーナルにおける引用を専門的に研究しているヴィンセント・ラリヴィエです。
全部で11誌のジャーナルがこの試みに参加しました。『サイエンス』、『eライフ（eLife）』、『EMBOジャーナル（EMBO Journal）』、『情報学ジャーナル（Journal of Informetrics）』、『王立学会紀要B（Proceedings of the Royal Society B）』、パブリック・ライブラリー・オブ・サイエンス社の発行する3誌、『ネイチャー』とその姉妹誌2誌、です。
2013年と2014年、これらのジャーナルは合計36万6000本以上の研究論文を掲載しました。研究チームは、2015年におけるこれらの論文の引用数すべてを数えるために、トムソン・ロイターのデータベースをくまなく調査しました。
「その結果は、インパクトファクターの批判者たちに、さらなる攻撃材料をもたらした」と同記事は書きます。引用の分布はあまりにいびつでした。既存のジャーナルに掲載された論文のうち、最高で75パーセントは、そのジャーナルの平均引用数より少ない引用数しか得ていませんでした。そのため、特定の論文の影響力を推測するためにインパクトファクターを使うことは「当てずっぽう」に近いものになる、といいます。またこの分析によって、よく知られている論文の引用数が知名度とマッチしないことなど、トムソン・ロイターのデータベースの多くの欠陥が明らかになった、ともいいます。
ラリヴィエらは

インパクトファクターに起因する誇張された価値を見直すために、またインパクトファクターが研究や研究者を評価するためには不適切な指標であるという主張を強化するために、この分析が役立つことをわれわれは希望している。

とまとめています。論文の草稿は、生物医学分野のプレプリントサーバー「bioRxiv」に7月5日付けで投稿されています。
偶然でしょうが、その6日後の7月11日、トムソン・ロイター社は、インパクトファクターを提示している部門を、その知的所有権と方法論ごと、国際投資会社2社（オネックス・コーポーレーション、ベアリング・プライベート・エクイティ・アジア）に売却する正式契約を結んだことを発表しました。
この契約によって、インパクトファクターやその評価がどのように変わるかは、まだわかりません。インパクトファクターが何らかのかたちで改善されるとしても、あるいはそれに代わる新しい指標が登場するとしても、最低でもその計算方法は公開してもらいたいものです。