米Metaは、10代のMeta AIとの会話から自傷・自殺の兆候を検知した場合、Instagramの保護者向け監督機能を利用する保護者へ通知する新たな安全対策を発表した。米国など4カ国で始め、年内に世界へ拡大する方針だ。
Meta AIが10代の自傷・自殺リスクを検知し保護者に通知
Metaは2026年7月16日、10代のMeta AIとの会話で自傷・自殺の兆候が示された場合に保護者へ通知する追加の保護措置を発表した。
この機能は現在、米国、英国、オーストラリア、カナダでInstagramの監督機能を利用する保護者向けに提供されており、2026年末までに世界へ拡大する予定である。
通知対象となる会話には、明確な表現だけでなく、自身を傷つける意図を示す可能性がある微妙な言及も含まれる。AIが検知した会話は通知前に人が確認し、意図が曖昧な場合は慎重に通知する方針だ。
また、通知時に保護者が子どもとの会話に向き合うための専門家による情報も提供される。
Metaは成人・10代を問わず、Meta AIとの会話から自殺の差し迫った危険が示された場合に緊急サービスへ連絡する機能も構築している。
FacebookやInstagramでは、信頼できる自殺リスクを示す投稿を把握した際、すでに緊急サービスへの連絡を実施しており、2025年には世界で1万9000件超の紹介を行ったという。
加えて、75人超の10代のメンタルヘルスを専門とする臨床家から、数百件のプロンプトに対するAIの応答について意見を集めた。
10代の感情を認めながら支援先を案内し、会話を突然打ち切らない対応を目指して改善を進めるほか、Instagramのより厳格な「Limited Content」設定もMeta AIに適用する。
保護者支援を強化する一方、監視と誤検知が課題に
今回の仕組みは、10代が抱える深刻な問題を家庭が把握するきっかけになり得る。本人が直接相談できない状況でも、保護者が異変を知ることで、対話や専門機関への相談につなげやすくなるだろう。
さらに、Metaが専門家の評価をAIの応答改善に反映している点は、安全対策を継続的に見直す取り組みとして注目できる。
一方で、AIによる会話分析において、誤検知のリスクは無視できない。表現の文脈や冗談、過去の経験に関する言及まで危険信号として扱えば、保護者との信頼関係を損なう可能性もある。
人による確認を挟む設計は、そのリスクを抑えるための重要な措置と言える。
また、10代のプライバシーと安全をどこで両立させるかも難しい論点だ。自傷・自殺に関する会話を保護者へ伝える基準が広がれば、本人がAIに相談すること自体をためらう場面も出てくるかもしれない。
今後は、検知精度だけでなく、危機に直面した利用者を適切な人間の支援へつなぐ運用設計まで含めて評価されることになるとみられる。
安全確保を優先しつつ、10代のプライバシーを過度に侵害しない線引きをどう設計するかが、AIサービス全体の課題になりそうだ。
関連記事：
ChatGPT、安全機能「Trusted Contact」導入へ 自傷リスク時に信頼先へ通知
グーグル、Geminiに自傷検知と支援誘導機能 AI訴訟拡大で安全設計を強化
