米グーグルは、「Gemini」の会話内容から自傷や自殺のリスクを検知し、適切な支援窓口へ誘導する新機能を導入すると明らかにした。全米で生成AIを巡る訴訟が相次ぐ中、有害な会話検知と相談窓口への誘導を組み込む対応である。
Geminiに自傷検知と支援誘導機能
2026年4月7日（米国時間）、グーグルはチャットボット「Gemini」にメンタルヘルス保護機能を導入すると発表した。対象となるユーザーには、チャットや電話、テキストメッセージなど複数の手段で相談できる窓口が提示される仕組みとなる。
加えて、メンタルヘルスに関する対話中には「助けを求めることができます」といったメッセージを表示するモジュールも組み込まれる。利用者が危機的状況にある可能性を前提に、行動を後押しするインターフェースが組み込まれる形だ。
同社はさらに、今後3年間で3000万ドル（約48億円）を投じ、世界各地の相談窓口の対応能力強化を支援する方針を示した。
加えて、ReflexAIとの提携を拡大し、400万ドル（約6億円）の資金提供とともにGeminiをトレーニングツールへ統合するとしている。
背景には、米国各地で生成AI企業に対する訴訟が相次いでいる現状がある。Character.AIやOpenAI、グーグルなどが対象となり、AIが利用者のメンタルヘルス悪化に関与したとする主張が提起されている。
2026年3月には、フロリダ州でGeminiの影響が指摘された不法死亡訴訟も起きており、各州でAI規制をめぐる議論も進みつつある。
AI安全設計の進展と規制強化の行方
今回の対応により、生成AIにおける「安全設計の標準化」が一段と進展する可能性がある。特にメンタルヘルス領域では、リスク検知と外部支援への接続が不可欠であり、同様の機能を実装する動きが他社にも波及していく流れが見込まれる。
結果として、AIの社会実装における最低限の安全ラインが引き上げられると考えられる。
一方で、過剰な介入はユーザー体験を損なう恐れがあり、逆に検知漏れが発生すれば責任問題に発展する可能性も否定できない。
アルゴリズムによる判断が人間の心理状態をどこまで正確に把握できるかが、今後の焦点となるだろう。
規制面では、州単位でのルール整備が加速することで、企業側のコンプライアンス負担が増大する見通しだ。特に未成年保護や説明義務の強化は、プロダクト設計そのものに影響を与える要素となりうる。
中長期的には、AIが初期対応やリスク検知を担い、最終的な判断やケアは専門家が行うハイブリッド型のモデルが主流になると見られる。
今回のグーグルの動きは、その移行過程を象徴する一歩といえそうだ。
関連記事：
米AIチャットボット訴訟が和解へ 未成年依存問題でグーグルに重い宿題
加銃乱射事件のChatGPT利用巡り、OpenAIが説明 同様事案は警察通報対象に
YouTube、青少年向けメンタルヘルス専門セクションを開設 うつ病やADHDなどの信頼情報を一元表示
