「再現性の危機」に対応するための「チェックリスト」

以前、本誌では、『ネイチャー』誌が2016年に研究者たちをアンケート調査したところ、回答者1576人のうち70%以上が、ほかの研究者の実験を再現しようとしたが失敗した経験がある、と答えたことを紹介しました。このように、論文に書かれている通りの方法で実験を行っても、結果を再現できないことがしばしばあるという現状は「再現性の危機（reproducibility crisis）」と呼ばれています。
今年4月18日付『ネイチャー』誌の社説は、同誌が論文原稿を投稿する著者たちに、すべての項目を満たすよう求めている「 チェックリスト （Statistical parameters）」が「正しい方向への第一歩」ではあるものの、再現性の危機に対応するためには、まだほかに行なうべきことがある、と主張しました。
また同誌は再現性とチェックリストの効果について調べるために、2016年7月から2017年3月にかけ、『ネイチャー』に投稿したことのある研究者5375人に調査票を送り、その結果のデータをそのまま公開しました。それによると、回答した研究者480人のうち49％は、チェックリストが『ネイチャー』に掲載される研究の質の改善につながっている、と答えたそうです。15%はチェックリストの有効性に同意しませんでした。
回答者の86％は、再現性が低いことを自分たちの研究分野における危機である、と認識していることもわかりました。この割合は2016年の調査と同様です。また2016年の調査では、回答者の約60%が「再現性の危機」の原因として、「選択的報告（selective reporting）」を挙げていたのですが、今回の調査でも、約3分の2が同じように「選択的報告」を指摘していました。
「選択的報告」とは、しっかりとした定義はありませんが、たくさんあるデータのなかで自分の仮説に最も都合のよい結果だけを選んで論文に書くことをいいます。いいとこ取りをするという意味で「チェリーピッキング（cherry picking）」と呼ばれることもあります。研究結果をわかりやすく見せるために多くの研究者が行なっていることであり、これを「悪いこと」とみなすかどうかは微妙なところです。しかし、選択的報告が再現性を低めていると認識している研究者が多いことは確かなようです。『ネイチャー』のチェックリストは、この選択的報告をより透明化するようにも設計されているといいます。
ではこのチェックリストは、再現性の低さという問題に対応できているのでしょうか？ 「部分的にはそうであろう」と『ネイチャー』の社説は評価しています。ただしアンケート調査の回答からは、再現性の低さをもたらす要因として、著者へのトレーニングや報告の透明性、そして「研究発表せよというプレッシャー（publishing pressure）」といった微妙な問題があることも浮かび上がる、といいます。
好ましい兆候もあります。2012年、アメリカにある国立衛生研究所（NIH）のストーリー・ランディスらは、医学・生命科学分野における前臨床研究（動物実験）の透明性を高めるために、論文の著者は「無作為化（ランダム化）」、「盲検化（ブラインド化）」、「サンプルサイズの推計」、「データの調整」という４つの基準について報告すべきだと提案しました。これは「ランディス４基準（Landis 4 criteria）」と呼ばれています。
ある研究者らはチェックリストの効果を検証するために、チェックリストを導入している『ネイチャー』に掲載されている論文と、導入していない『セル』に掲載されている論文の実験方法に関する記載と分析情報を、2013年（チェックリスト公開前）と2015年（チェックリスト公開後）の変化で比較しました。その結果、ランディス４基準のうち「無作為化」と「盲検化」、「サンプルサイズの推計」という３項目については、『ネイチャー』の論文は『セル』の論文よりも３倍改善している、ということが明らかになりました。この調査結果は昨年9月、『プロスワン』で公表されました。別の研究グループも同様の調査結果をまとめ、査読中の原稿がプレプリントサーバー「バイオアーカイブ（bioRxiv）」で公開されています。
また『ネイチャー』の調査では、回答者のほとんどは複数の論文原稿を投稿した際、このチェックリストを使って確認を行ったといいます。さらに78%は、『ネイチャー』に投稿するかどうかと関係なく、このチェックリストをある程度活用している、といいます。
総じていえば、このチェックリストは論文における実験過程などの透明性を高めることに役立っているといえそうです。ただし現在のところ、再現性そのものが高まっていることは確証できないようです。「再現性の危機」への警戒や対策は今度も継続されるでしょう。