2025年9月5日、米AI企業のOpenAIは言語モデルにおける誤回答（ハルシネーション）の発生要因を分析した研究論文を公開した。
事前学習の仕組みや評価に用いるベンチマークの問題を主な原因として説明している。
OpenAI、言語モデルの誤回答原因を研究結果として公開
OpenAIは9月5日、言語モデルが「もっともらしいが誤った回答」を生成する現象、いわゆるハルシネーションについて研究成果を発表した。
今回の論文では、誤回答が生じる要因として事前学習の仕組みとベンチマーク評価の特性をあげている。
論文によれば、言語モデルは膨大なテキストを基に次の単語を予測する仕組みで学習を行う。
この際、正誤を示すラベルは存在せず、文脈に基づく統計的な予測を繰り返す。
そのため、出現頻度が高い表現や一貫性のあるパターンは正確に再現できるが、論文のタイトルや人の誕生日など頻度の低い情報は正しく予測できず、誤生成を引き起こしやすいという。
さらに、標準的なベンチマークでは正解率の高さが重視される。
モデルが「分からない」と答えた場合は評価されない一方、推測で回答して偶然正解した場合には得点が加算される仕組みになっている。
この結果、確実に答えられる情報よりも、推測で回答する方が評価上有利になる状況が生じていると指摘された。
OpenAIは、こうした仕組みがハルシネーションの発生を助長していると説明し、既存のベンチマーク設計が誤回答を抑制するには不十分であると結論づけた。
「分からない」と答える設計思想が信頼性の鍵か
今回の研究結果を踏まえると、AIの信頼性を高めるには、モデルが「分からない」と明示できる仕組みを組み込むことが重要になると考えられる。
従来の評価基準では誤答を避ける行動が不利とされていたが、再設計により誤情報を減らす方向に誘導できれば、現状の問題を改善できるかもしれない。
この取り組みのメリットは、特に医療や法律といった高リスク領域で顕著であると考えられる。
誤回答を抑制できれば、専門分野での活用範囲が広がり、社会的信頼も高まるだろう。
一方で、「分からない」と答える頻度が過度に増えれば、ユーザーが求める利便性が損なわれる恐れもある。
利用者にとって役立つ情報を提供しつつ、誤情報を最小限に抑えるバランスが求められそうだ。
また、誤生成の抑制は企業間の競争力にも直結し得る。
正確性を重視した設計思想は差別化要因となり、利用者や顧客の信頼を得る要素になる。
逆に改善が遅れる企業はリスク対応の遅れとして評価を下げる可能性がある。
今後は、AI業界全体で「分からない」を正しく評価できる基準作りが課題となるだろう。
