AIはなぜ「もっともらしい嘘」をつくのか？ハルシネーションは評価システムにあった

進化を続ける言語モデルは、その利便性の裏側で「ハルシネーション」という根深い課題を抱えています。これは、AIが事実に基づかない情報を、まるで真実であるかのように自信を持って生成する現象です。OpenAIの最新の調査によれば、この問題の原因は、AIの学習や評価の仕組みが、不確実性を認めることよりも「当て推量」を奨励する構造になっていることに深く関係していると指摘されています。AIの信頼性を根底から揺るがしかねないこの問題の構造を解き明かすため、本プロジェクトの詳細を考察します。

AIが自信を持って「嘘」をつく？ハルシネーションの正体

近年、私たちの社会に急速に浸透している大規模言語モデルは、文章作成や情報収集、アイデア出しなど、多岐にわたる場面でその能力を発揮しています。しかし、その目覚ましい進化の裏で、すべてのモデルに共通する根本的な課題が依然として横たわっています。それが「ハルシネーション」と呼ばれる現象です。ハルシネーションとは、AIが事実に基づかない、あるいは文脈と無関係な情報を、さも正確であるかのように堂々と生成してしまうことを指します。一見すると非常に流暢で説得力のある文章に見えるため、多くの人がそれを事実として受け取ってしまう危険性をはらんでいます。例えば、ある著名な研究者の誕生日や論文のタイトルについて尋ねると、AIはためらうことなく、もっともらしい日付や題名を複数提示することがあります。しかし、そのいずれもが全くの誤りである、といったケースは珍しくありません。

この問題は、AIとの対話が日常的になるにつれて、誤情報の拡散や社会的な混乱を招くリスクを増大させます。OpenAIをはじめとする開発機関もこの問題を最重要課題の一つと捉え、その発生メカニズムの解明と対策に全力で取り組んでいますが、完全な解決には至っていないのが現状です。

言語モデルでハルシネーションがおきる理由(OpenAI)：https://openai.com/ja-JP/index/why-language-models-hallucinate/

なぜハルシネーションは起きるのか？評価システムが招く「当て推量」の罠

ハルシネーションが一向になくならない背景には、技術的な限界だけでなく、AIの能力を測定し、改善していくための「評価システム」そのものに、構造的な問題が潜んでいることが明らかになってきました。現在の評価方法は、意図せずしてAIに「正直にわからないと答える」ことよりも、「リスクを冒してでも推測する」ことを選択させてしまう側面があるのです。ここでは、そのメカニズムを3つの観点から詳しく見ていきます。

テストで高得点を取るための「推測」

現在のAI評価の仕組みは、私たちが学生時代に経験した多肢選択式のテストに似ています。答えがわからない問題に直面したとき、解答欄を空白のままにすれば確実に0点ですが、当てずっぽうでも何かを記入すれば、偶然正解する可能性があります。言語モデルもこれと同様の状況に置かれています。モデルの性能が「どれだけ多くの質問に正しく答えられたか」という正答率のみで測られる場合、モデルは「わかりません」と回答して確実にスコアを失うよりも、不確かな情報でも推測して回答する方が、総合的なスコアが高くなる可能性があるのです。例えば、ある人物の誕生日をAIが知らない場合、「9月10日」と推測すれば365分の1の確率で正解しますが、「不明です」と答えればそのチャンスはゼロになります。この小さなインセンティブが、何千、何万という質問評価を通して積み重なることで、AIは次第に推測を好むようになっていきます。

「正確性」の指標が隠す不都合な真実

評価指標として最も一般的に用いられる「正確性（Accuracy）」は、一見するとモデルの優秀さを示す客観的な指標に思えます。しかし、この指標だけを見ていると、ハルシネーションという重大な問題を見過ごす危険性があります。OpenAIが示した例では、2つのモデルを比較した際、古いモデルの方がわずかに正確性のスコアが高いにもかかわらず、そのエラー率（ハルシネーションの割合）は新しいモデルの約3倍にも達していました。これは、古いモデルがわからない問題に対して積極的に「当て推量」を試みた結果、偶然の正解が増えて正確性が向上した一方で、それに伴って誤った回答も大量に生み出していたことを示唆しています。つまり、正確性という単一の指標は、モデルがどれだけ「正直」であるかを反映しておらず、むしろリスクを恐れずに推測するモデルを高く評価してしまうという、誤った二者択一の状況を生み出しているのです。

開発者を「推測」へと導くインセンティブ

AI開発の世界では、様々なモデルの性能を比較する「リーダーボード」や「スコアボード」が大きな影響力を持っています。そして、そのランキングの大部分は、前述した「正確性」のスコアに基づいて決定されています。この現状が、AI開発者に対して、たとえ誤答のリスクを高めてでも、推測によって正答率を稼ぐモデルを構築するよう、暗黙のうちに動機付けてしまっているのです。モデルが自身の知識の限界を認識し、「わからない」と正直に表明する能力は、ユーザーの安全や信頼性の観点からは極めて重要ですが、現在の主要な評価基準ではほとんど評価されません。その結果、モデルはより高度になっているにもかかわらず、自信満々に間違った情報を提示するというハルシネーションの問題が、依然として解決されずに残ってしまうというわけです。

AIの学習方法に潜む、ハルシネーションの根源

AIを評価する仕組みだけでなく、AIが言語を習得する基本的なプロセスそのものにも、ハルシネーションを引き起こす根源的な理由が存在します。それは、インターネット上にある膨大なテキストデータを読み込み、「次に来る単語は何か」をひたすら予測し続けるという、言語モデル特有の学習方法に起因するものです。このプロセスが、なぜ事実に基づかない情報の生成につながるのかを3つの視点から掘り下げます。

「次の単語」を予測する学習の限界

言語モデルの学習は、特定の問いに対して「正解」や「不正解」といったラベルを与えられる形では行われません。モデルが見ているのは、あくまで人間が書いた流暢な文章の膨大なコレクションだけです。そのデータの中から、単語と単語のつながりのパターン、つまり「この単語の後には、次はこの単語が来やすい」という確率的な関係性を統計的に学習していきます。この方法によって、モデルは文法的にも意味的にも自然な文章を生成する能力を獲得しますが、その文章の内容が事実として正しいかどうかを検証する能力は、この段階では身につきません。あくまで最も「それらしい」言葉の連なりを紡ぎ出しているに過ぎず、それが真実であるという保証はどこにもないのです。この学習方法の限界が、もっともらしく聞こえる虚偽情報が生成される土壌となっています。

パターン化できない「事実」の壁

言語モデルは、データ内に存在する一貫したパターンを捉えることを得意とします。例えば、正しいスペルや文法、あるいは括弧の開閉といったルールは、テキストデータ全体を通じて非常に高い一貫性を持っているため、モデルはこれらを正確に学習し、間違いを犯すことはほとんどありません。しかし、世の中のすべての情報が、このような明確なパターンを持っているわけではありません。ソースで挙げられている「ペットの誕生日」のように、特定の個人や物事に関する事実は、本質的にランダムであり、前後関係から予測することが極めて困難です。こうした頻度が低く、一貫したパターンのない情報は、モデルが学習データからその関係性を正確に捉えることができず、結果として事実とは異なる、しかし統計的にはありえそうな単語の組み合わせを生成してしまう原因となります。

「正解」ラベルのないデータからの学習

人間の子どもが学習する過程を想像してみてください。子どもは周りの大人から「これは正しいよ」「それは違うよ」とフィードバックを受けながら、世界の仕組みや事実関係を学んでいきます。しかし、言語モデルの事前学習には、このような明確な「正解」ラベルが存在しません。モデルは、ウェブ上の玉石混交の情報を、それが正しいか間違っているかの区別なく、ただひたすらインプットし続けます。もちろん、その後のチューニング段階で、より事実に即した回答をするように調整はされますが、事前学習で吸収した膨大な情報の中に含まれる誤りや偏りを完全に取り除くことはできません。このように、事実の正誤を判断するための明確な教師データがない状態で学習が進むという点が、言語モデルが原理的にハルシネーションから逃れられない根源的な理由の一つとなっているのです。

ハルシネーションを巡る誤解を解く

「モデルの正確性を100%にすればハルシネーションはなくなる」という考え方があります。これは一見すると正しいように思えますが、現実の世界には情報が不足していたり、質問自体が曖昧であったりするため、そもそも「回答不可能な問い」が存在します。したがって、モデルの規模や能力に関わらず、100%の正確性を達成することは原理的に不可能です。

次に、「ハルシネーションは防ぎようがない」という諦めの声も聞かれます。しかし、これも誤りです。モデルが自身の知識の限界を理解し、不確かな場合には回答を生成せず、「わかりません」と表明するように設計すれば、ハルシネーションは防ぐことができます。問題は、そうした「謙遜」を現在の評価システムが正しく評価していない点にあります。 また、「ハルシネーションの回避には、非常に大規模なモデルの知能が必要だ」という見方もありますが、調査結果はむしろ逆の可能性を示唆しています。小規模なモデルの方が、自身の知識範囲が限定的であるため、その限界を把握しやすいというのです。

最後に、「優れたハルシネーション専用の評価指標を作れば問題は解決する」という主張です。これも部分的にしか正しくありません。たとえ優れた指標が開発されても、業界全体で広く使われている何百もの既存の評価指標が「当て推量」を奨励し続ける限り、その効果は限定的です。根本的な解決のためには、業界標準となっている主要な評価指標そのものを見直し、不確実性の表明を適切に評価する文化を醸成していく必要があるのです。

今後の展望

言語モデルが社会インフラの一部として組み込まれつつある現在、ハルシネーションの問題を克服することは、単なる技術的な課題解決にとどまらず、AIと人間社会の信頼関係を築く上で不可欠なステップです。この問題を解決する努力は、AIのあり方そのものを変え、私たちの未来に新たな可能性をもたらすと考えられます。

評価尺度の変革がもたらす「正直なAI」の開発競争

現在、AI開発の競争は、主に処理速度や正確性といった性能指標を軸に進められています。しかし、ハルシネーション問題への対策として、OpenAIが提唱するように「自信を持った間違いには大きなペナルティを」「不確実性の表明には部分点を与える」といった新しい評価尺度が業界標準として浸透すれば、開発のパラダイムは大きく転換する可能性があります。それは、単に「賢いAI」を作る競争から、「正直なAI」を作る競争へのシフトです。企業は、自身の知識の限界を正確に把握し、それをユーザーに対して誠実に伝える能力を持つAIの開発に、より多くのリソースを投下するようになるでしょう。この変化は、特に医療診断の補助や法律相談、金融アドバイスといった、誤った情報が深刻な結果を招きかねないクリティカルな分野でのAI活用を大きく前進させるはずです。将来的には、AIモデルの信頼性や誠実さが、その性能と同じくらい、あるいはそれ以上に重要な価値を持つようになり、ユーザーがAIサービスを選ぶ際の重要な判断基準となることが予想されます。この新しい競争軸は、AI倫理の観点からも健全な技術発展を促し、より安全で信頼できるAI社会の実現に貢献するに違いありません。

ユーザーとAIの新たな対話形式「協調的真実探求モデル」の可能性

AIが「わかりません」や「その情報源は確認できません」と正直に答えられるようになることは、単にエラーを減らす以上の意味を持ちます。それは、人間とAIの関係性を、一方的な「質問と回答」の関係から、共に答えを探求する「協調的なパートナー」へと進化させるきっかけとなり得ます。現状、私たちはAIを全知全能の賢者のように捉えがちですが、AIが自身の限界を表明することで、ユーザーはその回答を鵜呑みにするのではなく、一つの参考情報として捉え、批判的に吟味する姿勢を身につけるようになります。将来的には、AIは不明確な質問に対して「その質問の意図はAですか、それともBですか？」と問い返したり、「そのテーマについては、Xという情報源とYという情報源で見解が分かれています」と複数の視点を提示したりするなど、ユーザーの思考を深めるための触媒として機能するようになるでしょう。このような対話形式は、特に教育分野で大きな可能性を秘めています。生徒はAIに安易に答えを求めるのではなく、AIを高度な調査アシスタントとして活用し、情報の信頼性を評価しながら、共に結論を導き出すという、より能動的で深い学びを経験できるようになるかもしれません。

「ファクトチェック機構」との連携によるハイブリッドAIの登場

言語モデル単体の能力向上だけでハルシネーションをゼロにすることが原理的に難しい以上、その弱点を補うための外部システムとの連携が、今後の重要な技術的アプローチになると考えられます。具体的には、AIが回答を生成するプロセスの中に、信頼性の高いファクトチェック機関や学術データベース、公的機関の情報などをリアルタイムで参照し、その情報源の確かさを検証する仕組みを組み込んだ「ハイブリッドAI」の登場が期待されます。例えば、ユーザーが特定の社会問題についてAIに質問した場合、AIは単に学習データからもっともらしい回答を生成するだけでなく、その回答の根拠となる報道機関の記事や公的統計へのリンクを明示し、さらには異なる立場からの意見も併記するようになるでしょう。生成された情報に「検証済み」「複数の情報源で確認」「未検証情報」といった信頼性ラベルを付与する機能も標準となるかもしれません。このような仕組みは、ユーザーが情報の出所を常に意識し、より主体的かつ批判的に情報を判断するリテラシーを育む上で極めて有効です。また、巧妙化するフェイクニュースや偽情報への対策としても決定的な役割を果たし、より健全な情報社会の構築に貢献することが大いに期待されます。