株式会社piponは、国立がん研究センターと共同で、がん情報における誤ったAI回答（ハルシネーション）を大幅に削減するRAG型チャットボットを開発した。
公的がん情報を参照し、医療AIの安全性と信頼性を検証する。
公的がん情報を参照し誤回答を防止 CIS参照RAGで安全性を検証
8日、株式会社piponは、国立がん研究センターと共同で、RAG（※）型AIチャットボットの医療情報応答システムを構築したことを発表した。
このシステムは安全性と信頼性を高めたAI基盤として、国際医学誌「JMIR Cancer」に有効性が掲載された。
本システムは、国立がん研究センターが運営する公的情報サイト「がん情報サービス（CIS）」を参照し、生成AIによる誤回答を抑制する仕組みを採用している。
研究では、62問のがん関連質問に対して6種類のチャットボットが回答し、その内容を医師が評価した。
従来型チャットボットでは約40％が誤回答を含んでいるのに対し、CIS参照型RAGではGPT-4が0％、GPT-3.5でも6％に抑制された。
Google検索を参照するRAG型でも改善はみられたが、多変量解析の結果、Google検索を参照するRAGは、CIS参照RAGと比べてハルシネーション発生のオッズ比が9.4倍であることが示された。
この結果は、「AIの種類」よりも「参照する情報源」の信頼性が安全性を左右することを示している。
CISに情報が存在しない場合は回答を控える設計となっており、誤情報の提示を防ぐ仕組みが確認された。
piponは設計・実装を担当し、国立がん研究センターが医学的評価を行った。
※RAG：Retrieval-Augmented Generation。外部データベースを参照しながらAIが回答を生成する技術。
「安全に答えない」AIが切り開く医療情報の新基準
今回の研究の最大の意義は、AIが医療情報を扱う際に「誤って答えない」という倫理的設計を明確に打ち出した点だろう。
公的データやエビデンスに基づく情報のみを参照するRAG構成は、誤情報拡散のリスクを抑え、患者や家族の安心につながると考えられる。
医療現場におけるAI活用の信頼性を高める試みとして評価できる。
一方で、AIが不確実な領域で回答を控えるため、利用者が「情報が足りない」と感じる場面も想定できる。
とくに希少疾患や未確立の治療分野では、AIが沈黙を選ぶことで利便性が損なわれる可能性がある。
その補完策として、医療従事者への相談や専門機関への誘導を組み合わせる仕組みづくりも重要になるだろう。
今後は、この“安全に答えないAI”という発想が、がん領域を超えて生活習慣病やメンタルヘルスなどにも拡大するとみられる。
さらに、自治体や医療機関の公式情報と連携したRAG基盤が広がれば、国際的に見ても「信頼できるAI医療情報」の先進モデルとして日本が注目を集める可能性がある。
AIが沈黙する勇気を持つことこそ、次世代の医療AIに求められる資質となるだろう。
関連記事：
生成AI時代の「データベース」の重要性
企業への導入が急増している生成AIの実用的な活用方法｜RAGとは？
