査読の歴史 − 査読を科学的なものにしよう！
7月5日、『ネイチャー』は「査読を科学的なものにしよう！」という過激なタイトルの論評を掲載しました。そう主張するということは、査読の現状は科学的なものではない、と著者は考えているのでしょう。著者のドラムンド・レニーは「世界医学編集者連盟」の元会長で、『ニューイングランド医学雑誌』の副編集長などいわゆるトップジャーナルの要職を務めてきた人物です。
『ネイチャー』は科学の雑誌です。『ニューイングランド医学雑誌』も医学という科学の雑誌です。どちらも科学論文が載る雑誌です。その科学論文の査読が科学的ではない、というのはどういうことでしょうか？ この論評は冒頭からいささか挑発的です。
査読は、科学の自己批評的な性質の現れであると褒めちぎられている。しかし、これはヒューマン・システムである。査読にかかわる者すべては偏見を持ち、誤解をし、知識のギャップがある。そのため、査読がしばしば偏見にとらわれたり、非効率であったりしても、驚くべきではない。査読はときとして腐敗し、ときには茶番となり、盗用する者を誘惑するものでもある。ベストを尽くす意図があるとしても、査読が質の高い科学をどれくらい識別しているのかどうかはよくわからない。手短かにいえば、査読は非科学的なのだ。
レニーは30年間、査読の向上、つまり科学文献の向上に努めてきた人物です。彼は医師としてキャリアを始めた後、『ニューイングランド医学雑誌』や『アメリカ医師会雑誌（JAMA: The Journal of the American Medical Association）』で働いてきた経験をもとに、査読の30年を振り返ります。
1983年、彼が『JAMA』で働いていたときのこと、編集長が査読についての会議（カンファレンス）を開くことを提案したとき、彼はそのアイディアに飛びつきました。最終的に、初めての「査読会議（Peer Review Congress）」は1989年にシカゴで開催されました。その会議では、たとえば査読者たちについての人口統計学、査読を行う頻度、盲検などについての研究が報告され、レニーは「アクチュアルなデータ」に興奮したといいます。
そのような研究のおかげで、私たちはいま、査読について多くのことを知っているのだ。たとえば論文を評価するためにかかる時間、査読者たちの間における意見不一致の率、信頼できるジャーナルにおけるコスト、さらには査読における不正行為の発生についても。
医学者であるレニーがこだわるのは、臨床試験の論文とその査読における問題です。2002年、レニーらは、投稿原稿に示された臨床試験の結果のほとんどは、テストされたその治療法を好意的に評価し、またそのことは公表された結果に反映されているということを明らかにしました。さらに別の研究では、そうしたバイアス（偏り）の90パーセント以上は、著者たちが、その治療法に好意的でない原稿を投稿しないことが原因であること、そして、スポンサーが、そうした投稿しないという決定を後押していることがわかりました。「出版バイアス（publication bias）によって、医薬品は実際よりもよいものに見えてしまうのだ」とレニーは書きます。
レニーはそのほかの動きも踏まえて、査読の歴史の「道しるべ」を以下のように記します。
| 1978-1979 | イェール大学やハーバード大学での研究不正の発覚がこの問題を世間に知らしめた。 |
| 1978-1992 | 「オックスフォード周産期臨床試験データベース」がイアン・チャルマーズによって設立される。 彼は後に「コクラン・コラボレーション」とその系統的分析を設立・確立する。 |
| 1986 | 複数の調査によって、臨床試験における「出版バイアス」が明らかになる。その原因は、臨床試験を報告する論文の著者たちが結果を公表（出版）するために投稿をしないことによる。 |
| 1989 | 科学的不正行為を定義づける規制と申し立てに取り組む手続きが、連邦法の中に明文化される。査読は研究不正に対して無能だということが明らかになる。 |
| 1989 | 最初の「査読会議（Peer Review Congress）」がイリノイ州シカゴで開催される。査読者から著者が誰かわからないようにする試みが行われる。 |
| 1993 | 出版された医療関係の研究報告を再評価するために設立された「コクラン・コラボレーション」が、固有のバイアスを明らかにする。 |
| 1996 | 臨床試験の報告にかかわる「臨床試験報告に関する統合基準（CONSORT: Consolidated Standards of Reporting Trials）」声明が、著者や査読者を手助けするチェックリストとともに公表される。 |
| 1999 | 『英国医師会ジャーナル（BMJ）』、ランダム化試験で示されたエビデンスにもとづいて、オープン査読を導入する。 |
| 2000-現在 | オンライン・ジャーナルが、新しいモデルの査読をともなって台頭してくる。 |
| 2004 | 臨床試験の事前登録が掲載の条件とされる。 |
| 2006 | 「EQUATORネットワーク」が論文のガイドラインをつくるために設立される。 |
| 2010 | 「ビールズ・リスト（Beall’s list）」が、いかがわしい査読をする“肉食（predatory）”ジャーナルについて警告する。 |
| 2014-現在 | （ORCID、CASRAI、F1000ワーキンググループ）を含むグループが査読者をサポートし、報酬を与えるために設立される。 |
| 2017 | 2017「第8回査読会議」がシカゴで開催される予定。 |
「肉食ジャーナル（predatory journal）」とは、査読の早さなどを謳い文句にして著者を募り、高い掲載料を要求しているのだが、不十分な査読しかしていないとしばしば批判されるオンライン・ジャーナルを指す言葉です。
こうした査読の歴史において、査読者は必ず匿名でなければならない、という原則にもメスが入るようになりました。レニーらは、過去に発表した別の論文に言及しつつ、二重盲検、つまり著者も査読者も相手が誰かわからないようにする査読方法は「非効率的」で「官僚的な負担」を増やす、ということも主張しています。また 彼は『英国医師会ジャーナル（BMJ）』における「オープン査読」の経験を、以下のように紹介します。
10年以上前、『BMJ』は、査読の間、著者と査読者が自分が誰かを互いに明らかにし、その論文が掲載されるときには査読者の名前を公表する、という方法〔オープン査読〕を試運転した。同誌は原稿や査読者の不足に苦しむことはなかった。現在ではそのような開示は義務となっている。同誌の経験は質問の仕方が重要であることを示唆した。もし調査票で「査読に署名しますか？」と尋ねると、ほとんどの者は断る。しかし編集者が「本誌は署名入りの査読を求めています。査読しますか？」と尋ねると、同誌の経験では、断る者はきわめて少ない。こうした「オープン査読」というブランドは最も倫理的なものであることを示しており、その実行可能性も確立されている、と私は考えている。現行のシステム〔盲検査読〕では、著者たちはしばしば、全幅の確信をもって査読者を誤認し、そのため無実の傍観者に批難が向けられてしまうのだ。
従来的な「盲検査読」に代わる「オープン査読」のほかにも、「プレ査読」や「掲載後査読」など、さまざまな査読方法が試みられてきました。「こうしたアプローチの良否がわかる厳密な調査を、われわれは必要としている」とレニーは書きます。また「われわれが行ってきたこと」も「調査し続けなければならない」とも。つまり査読そのものも評価される時代になってきているということです。
2014年には、スタンフォード大学の「メタ・リサーチ・イノベーション・センター（METRICS）」が、科学というプロセスを調査し、向上させることを使命として設立されました。2015年には、こうしたトピックに特化したジャーナル『研究公正と査読（Research Integrity and Peer Review）』が創刊されました。
しかしレニーは、1986年に最初の「査読会議」を開いたときに抱いた問題意識を、いまも抱いているといいます。そして2017年に予定されている「第8回査読会議」で、より本格的な議論がなされることを期待します。
さて、査読は科学的になるのでしょうか？
