ChatGPTに「できない」9つのこと
急速に広まっているChatGPTですが、万能というわけではありません。ChatGPTは、アメリカのOpenAI社が2022年11月に公開した対話型AIサービスです。チャットで質問したことに対し、膨大なデータから情報を収集して答えてくれるわけですが、GPTが「Generative Pre-trained Transformer」の略であることからも察せられるとおり、回答を出力するためには事前学習（pre-training）が必要です。2023年6月時点での普及モデルGPT-3.5の事前学習データセットが2021年9月までのものであるため、2022年以降の情報が含まれていないことが指摘されていますが、プラグイン機能を追加することでChatGPTが新しい情報にもアクセスできるようにするといった対策や、深層学習アルゴリズムを使ってインターネット上の大規模なデータセットから情報収集した後に後学習（post-training）することで微調整を行ってから出力する機能の開発なども進められています。ChatGPTは、日々進化を続けている一方で、誤った情報に基づく誤った回答が出力される危険性も含め、使用の際には注意が必要です。
ChatGPTやその他の生成AIツールを使うことで調べ物の時間を短縮したり、テキストを作成させたりできるといった利便性が注目されていますが、研究者がChatGPTを使う際には、ChatGPTが「できないこと」、つまりAIツールの限界を知っておく必要があります。ここでは、研究活動においてChatGPTができない9つのことを取り上げます。
ChatGPTができない9つのこと
1- 独創的な研究アイデアの発案
- 独創的な研究アイデアは科学の進歩の原動力であり、イノベーションを生み出し、知識を広げ、画期的な発見への道を開くものです。、ChatGPTは研究アイデアを作成することはできません。
- 試しにChatGPTに化学分野の研究における独創的な研究アイデア／テーマをいくつか提案するよう入力したところ、この分野では基本的な3つの既存の研究について出力してきました。以下がその際の画面（スクリーンショット）です。
- ChatGPTのアルゴリズムには、独自の批判的な分析能力がないので、情報の正否は判断できません。
- ChatGPTが分野に特化した専門知識を習得し、最新の動向を把握しているわけではありませんし、各分野独自の複雑な内容を深く理解しているわけではありません。
- 研究者の専門的知識は、研究を進めるべき方向性を特定し、既存の知識を基に革新的なアプローチを提案し、その分野を発展させることができます。一方、ChatGPTには、人間の研究者のような豊富な知識の集積や経験はありません。
- AI言語モデルをベースとするChatGPTの能力は、既存のトレーニングデータに制限され、生き生きした会話や協業に積極的に参加する能力は有していません。
2- 複雑なデータ分析の解釈
- 研究者が複雑なデータ分析に必要な専門知識や経験を有しているのに対し、そうした知識や経験のないChatGPTは、複雑なデータを分析するにあたり、ニュアンスや複雑さを理解できない可能性があります。
- ChatGPTは、回帰分析、仮説検証（検定）、多変量解析、機械学習アルゴリズムなどの統計的手法を深く理解していません。
- ChatGPTは、結果の妥当性に影響を与える可能性のあるバイアス、交絡因子、異常値を特定することができません。
- 研究者は統計モデルの頑健性（ロバスト性）を評価し、感度分析を行い、欠損データや不完全データを適切に扱うことに習熟していますが、ChatGPTはこれらにうまく対処することができません。
- ChatGPTには複雑なデータ解析を効果的に伝え、可視化する技能はありません。
- ChatGPTは、経験を積んだ研究者であれば対処が可能なこと―インフォグラフィックや図表を用いて結果を明確かつ簡潔に示すことで理解を深め、データ主導による意思決定を促進することはできません。
3- 査読
- ChatGPTは研究論文の質や妥当性を評価することができないので、学術的な査読にChatGPTを利用することは適切とは言えません。
- ChatGPTのようなAIツールは、膨大なテキストデータを学習し、そのデータ内のパターンや知識に基づいて回答を生成することができますが、厳格な学術査読に必要な分野に特化した専門知識や批判的思考は持ち合わせていません。人間の査読者の専門知識と批判的思考は、学術研究の厳格性と質を維持する上で非常に貴重なものであり、この部分をChatGPTあるいは他のAIツールが補うことはできません。
- ChatGPTなどのAIツールには、方法論、データ分析、解釈、研究論文の総合的な貢献度を評価するために必要な知識がありません。
- AIは、剽窃の検出やオンライン上にある関連研究の特定など、査読プロセスで指摘されるような点を確認することはできますが、研究論文の質の最終的な評価と判断は、依然として専門家である人間の査読者が担うことになります。
4- 研究の進捗に対するリアルタイムのフィードバック
- ChatGPTは文脈の理解ができないので、進行中の研究プロジェクトの進捗に対してリアルタイムでフィードバックを提供することはできません。
- 研究の進捗を評価するには、特定の研究分野、採用されている方法論、関連する文献や理論的枠組みを深く理解する必要があるため、ChatGPTでは対処できない可能性があります。
- 専門知識や研究分野に精通した有益な指導、批評、提案を行うこともできません。
- 研究者のように会議やセミナー、ワークショップに参加し、より多くの聴衆に自分の研究を発表し、リアルタイムでフィードバックを得ることはできません。
5- 包括的な文献レビューの作成
- ChatGPTは、出典の質や関連性の評価ができないので、包括的な文献レビューを作成することができるとは言い切れません。
- ChatGPTは、研究論文、書籍、学会論文、その他の学術情報の方法論、データ分析、理論的枠組み、分野への貢献度を精査することはできません。
- ChatGPTには、分野特有の専門知識や文脈的な知識も欠けています。
- データのパターンに基づいて一般的な情報を提供することはできますが、学術文献のニュアンスや複雑な内容を見極めることは困難です。
- 質の高い研究と信頼性の低い情報を区別するのは難しいため、生成された文献レビューが不正確であったり、拾うべき文献が漏れていたりする可能性があります。
- ChatGPTは、検索方法、引用分析、厳格な選択基準などの体系的なアプローチを採用できないため、研究者が基準に従って行っている文献レビューに、関連性が高く代表的な文献情報を確実に入れ込むことができないこともあります。
- ChatGPTは、研究者が幅広い情報にアクセスし、最初の洞察を作成するのには役立ちますが、情報の品質と関連性を評価する技能は有していないことから、包括的な文献レビューを独自に作成することには適していません。
6- 研究提案書または助成金申請書を作成する
- ChatGPTが、研究提案書や助成金申請書を作成できるほど資金提供の要件のニュアンスを十分に理解できるとは限りません。
- ChatGPTは、研究プロジェクトの目的、方法論、期待される成果、予算、スケジュール、さらに資金提供機関の優先事項との整合性などの詳細を含め、助成金申請を作成する要件を満たすことができません。
- 助成金申請を作成する際の要件を解釈し、効果的に取り入れる専門知識がないため、資金提供機関の定める特定の基準を満たしているかを確認することができません。
- ChatGPTが、プロジェクトの背後にある論理的根拠を明確にし、社会的または科学的な関連性を強調し、期待される成果と利益を概説することができるかどうかは不明です。
- 専門知識を駆使して説得力のある議論を作り上げたり、首尾一貫した構成の提案書を提示したり、あるいは資金提供機関にプロジェクトの実現可能性や実現性を説明したりすることができない可能性があります。
7- 新しい実験方法の開発
- 研究者は、研究ギャップを特定し、リサーチクエスチョンを策定し、特定の目的に対応した実験をデザインする専門知識を持っていますが、ChatGPTは新しい実験手法を開発するのに必要な経験と分野特有の知識を有してはいません。
- ChatGPTは、既存の方法論、データ収集技術、統計分析手法の知識を集め、信頼性が高く有意義な結果を生み出す革新的なアプローチを開発することはできません。
- 新しい実験手法の開発には、創造性、批判的思考、問題解決能力の組み合わせが必要とされることが多く、現状のChatGPTや他のAIツールでは不可能とみられています。
- ChatGPTは情報提供や文献探索の面では研究活動の役に立ちますが、新しい実験方法の開発に不可欠な専門知識と創意は有していないことから、人間の研究者の代わりに新しい実験方法を開発することはできません。
8- 倫理的な判断
- ChatGPTは、研究者が直面する可能性のある複雑な倫理的ジレンマについて、道徳的判断を下したり、示唆したりすることはできません。研究者自身が、責任ある倫理的な研究実践に必要な倫理的枠組みを作成する必要があります。
- ChatGPTは、倫理審査委員会や施設内審査委員会（IRB）などが示す、その分野に特有の倫理原則やガイドラインを理解し、適用することはできません。
- 倫理的意思決定のニュアンスや、研究者が直面する複雑な倫理的配慮を理解する能力はありません。
- 倫理的決定に関連する特定の文脈的要因、文化的感受性（文化的配慮）、または潜在的重要性を見極めることはできません。
- 研究実践の倫理的意味を評価したり、特定の研究がより広い社会に与える影響を予測したりすることもできません。
- ChatGPTは、倫理指針に関する一般的な情報を提供することはできますが、研究プロセスにおいて研究者が処理するような批判的思考、道徳的判断、倫理的配慮を代行することはできません。
9- 科学的ブレークスルーへの貢献
- ChatGPTは、学習データのパターンに基づいてサポートや洞察を提供することはできますが、科学的なブレークスルーを導き出すことはできません。
- 新たな発見や洞察につながる可能性のあるデータのパターンや、異常値、関連性を特定する能力は有していません。
- 人間の研究者は、批判的思考、仮説立案、既存の理論への適応を行うことで未知の領域を切り開くことに秀でていますが、ChatGPTはこうしたことができません。
- ChatGPTが、継続的に質問し、仮説を検証し、証拠に基づきアイデアを洗練させるといった科学的探究プロセスに完全に関与することはできません。
- ChatGPTは情報や最初のアイデアを提供することで研究者を支援することはできますが、人間の研究者のような直感や創造性、革新的な思考は有していません。
- ChatGPTは、あらかじめ定義されたパターンに基づいて回答を作成するので、斬新な結びつきを作ったり、仮定に疑問を投げかけたり、既成概念にとらわれない思考をすることができません。
- 知的能力に限界があるので、画期的な実験をデザインしたり、新しい理論的枠組みを提案したりすることはできません。
まとめ―ChatGPTは万能にあらず
対話だけでなく、小説や論文を書いたりすることもできるとChatGPTの性能の高さと多様な使い方が話題になっていますが、研究活動の中で活用できることには限りがあります。
ChatGPTはデータを基にしているので、革新的なアイデアを創出することや、研究倫理に関する判断を行うことはできません。研究上の複雑なデータの解析、またはデータの解釈において統計的有意性の重大さを理解することも困難です。ChatGPTの優れた性能が注目されがちですが、研究活動において利用できることは限られています。結局のところ、研究を実施し、論文を書き、新しい研究を行うことで学術的発展に寄与するのは人間の研究者です。ChatGPTやAIツールがいかに優れた性能を発揮するようになっても、研究や学術論文執筆における人間の専門知識と蓄積された経験に取って代わることはないのです。
こんな記事・情報もどうぞ
エナゴ学術英語アカデミー ウェビナー：学術出版におけるChatGPTなどのジェネレーティブAIツールのリスクと可能性（リンク）
エナゴ学術英語アカデミー：人間対AI：ChatGPTの英文校正の限界（リンク）
