査読は匿名かオープン、どちらが質が高い？

「片側盲検（single blind）」では、査読者の側からは著者が誰かわかりますが、著者の側からは査読者は誰かわかりません。「オープン査読（open peer review）」では、著者も査読者もお互いが誰かをわかったうえで査読が行なわれます。「二重盲検（double blind）」では、著者も査読者もお互いが誰かわからないまま査読します。
一般的に、片側査読もしくは二重査読を適用しているジャーナルがほとんどで、オープン査読が採用され始めたのは比較的最近のことです。査読者の数は通常、２～３人です。ジャーナルのなかには、採択された論文といっしょに査読者レポート（reviewer report）や著者の返信を、署名または匿名で公表するところもあります。また多くのジャーナルでは、原稿を投稿した著者が査読者になりうる人を提案することを認めています。なかには著者にそれを要求するジャーナルもあります。
査読の形式が異なることによって、査読の質も異なるのでしょうか？　オープンアクセス・ジャーナルの出版社として知られるバイオメド・セントラル（BioMed Central）の「研究公正グループ（Research Integrity Group）」と、ロンドン熱帯衛生医学大学院のフランク・ダドブリッジ教授は、合計800本もの査読者レポートを分析し、2015年９月29日にその結果を『BMJオープン』で発表しました。その結果からは、オープン査読は片側盲検よりも優れた質の査読を実施できるという可能性が示されました。
この研究では、バイオメド・セントラルが発行するなかで、採択率や扱っているテーマが似ているジャーナル２誌が比較されました。オープン査読で運営されている『BMC感染症（BMC Infectious Diseases）』と、片側盲検モデルで運営されている『BMC微生物学（BMC Microbiology）』です。また、『炎症ジャーナル（Journal of Inflammation）』においては、査読の形式がオープン査読から片側盲検へと変更されたので、その影響が調べられました。同グループは、『BMC感染症』から査読者レポート200本、『BMC微生物学』から同じものを200本、そして『炎症ジャーナル』からはオープン査読が行なわれていた時期と片側盲検になった時期からそれぞれ200本を集めて分析しました。

分析には「査読品質評価表（RQI: Review Quality Instrument）」という手法が使われました。RQIは査読の質を評価する手法で、1999年に『BMJ（英国医学ジャーナル）』の編集委員によって開発されたものです。評価する者は査読者レポートを読み、「その査読者はリサーチ・クエスチョンの重要性を議論しましたか？」といった８項目の質問に対する答えを５段階で記すことで、査読の質を点数化することができます（参照）。研究グループは、３つのジャーナルに論文が載った著者たちに「査読者のコメントはどれくらい役立ちましたか？」といった18項目の質問をしました。
分析の結果、オープン査読で運営されている『BMC感染症』の査読者レポートのほうが、片側盲検で運営されている『BMC微生物学』の査読者レポートよりも５％優れた質であることがわかりました。これは「統計学的に高いスコア」であるとグループは述べています。また、同様の調査を『炎症ジャーナル』でも行なったのですが、オープン査読が行なわれていた時期と片側盲検になった時期との間に違いはありませんでした。同グループは、おそらく編集者の権限などほかの要因が影響しているのだろう、と推測しています。著者への質問では、『BMC感染症』（オープン査読）のほうが『BMC微生物学』（片側盲検）よりも、役立ったと答えた著者が多いことがわかりました。一方、『炎症ジャーナル』では、統計学的に有意な違いが出ませんでした。さらに、３つのジャーナルすべてにおいて、著者が提案した査読者（author-suggested reviewer）は著者が提案していない査読者（non-author suggested reviewer）よりも、しばしば採択（受理）を勧告する傾向があることも明らかになりました。
学術界では「査読は匿名でするもの」ということが半ば常識になっています。しかし、査読の質を高めるためには、オープン査読のほうが有益かもしれない、ということです。一方、「著者と査読者が友人である場合、オープン査読は公正なものとなるか？　逆にライバルであったら？」といった従来からの疑問は、完全には解消されていないでしょう。