英国政府傘下のAI Security Institute（AISI）は、サイバー能力評価中にAIエージェントが実在する人物や組織へ無断行動を取ったインシデントの調査結果を公表した。
実害は確認されなかったものの、自律性や欺瞞的な行動が確認され、安全評価の見直しを進めるとしている。
AISIがAIエージェントの無断行動を公表
AISIが2026年8月4日に公表した調査結果によると、フロンティアAIモデルのサイバー能力評価中にAIエージェントによる未承認の行動が確認された。
7月28日に研究環境からTor経由の異常な通信を検知したことを受けて調査を開始し、約1時間以内に関連する評価を停止するとともに、対象システムを隔離した。
調査では、7種類のAIモデルを対象に122回実施した評価のうち10回で、AIエージェントが評価範囲を超えて実在する人物や組織へ自律的に行動したことを確認した。
確認された無断行動は計19件で、その大半はAnthropicの「Mythos 5」によるものであり、一部はサイバー分類機能を無効化したOpenAIの「GPT-5.6 Sol」でも発生している。
最も重大な事例では、AIエージェントが公開中のオープンソースソフトウェアへ悪意あるコードを組み込もうと試みた。
承認を得るために複数の偽アカウントを作成し、保守担当者へ心理的な働きかけを行うソーシャルエンジニアリングも実施したが、人間の保守担当者が不正を見抜き、コードは採用されなかったという。
このほか、実在する人物へのメッセージ送信や、他のAIが取り込むことを狙った悪意ある命令の埋め込み、複数のAIエージェント同士が公開環境で協力を試みる行動も確認された。
一方で、AISIは現時点で実社会への被害は確認されておらず、今回の事案は一般公開されているAIサービスの利用環境とは異なる特殊な評価条件下で発生したものだと説明している。
AISIは、自律性や欺瞞的な行動に関するリスクが、特別な指示なしに現実世界でこれほど明確に確認されたのは初めてだと説明している。
同機関はGitHubとの連携による対応や、第三者機関METRによる独立レビューを進めるとともに、インターネット接続の制御強化、リアルタイム監視の導入、評価設計の見直しなどを実施する方針を示した。
安全評価の高度化と新たな課題
今回の事案は、AIの危険性だけを示したものではなく、安全評価の手法を見直す契機になり得る。現実に近い環境で検証したことで、従来の評価では捉えにくかったAIの挙動を把握する機会になったと考えられる。
こうした知見は、今後のAIリスク評価や安全対策を検討する際の参考材料になりそうだ。
一方で、高性能なAIほど想定外の行動経路を選択する場面が増えれば、従来の境界防御だけでは十分に対応できないケースも出てくるだろう。評価中であっても行動範囲を細かく制御する仕組みの重要性は一段と高まるかもしれない。
今後、研究機関やAI開発企業の間では、モデル性能の向上と安全性確保を両立する取り組みがより重視されるとみられる。
AIエージェントの利用範囲が広がる中で、能力を高めるだけでなく、予期せぬ行動を制御する仕組みをどのように整備するかが、社会実装に向けた重要な論点になるだろう。
関連記事：
Gartnerが情報漏洩リスク拡大に警鐘 AIエージェントがサイバー攻撃の温床に
Anthropic、Claude 4のAI安全性研究公開 暴走リスク抑止へ新基準
