米AI企業Anthropicは、生成AI「Claude」が評価試験や社内利用で起こした想定外の行動を公表した。外部サイトの脆弱性悪用や不適切なフォーム送信など4類型を確認し、ネット接続の停止を含む安全対策を進める。
サーバー操作やフォーム誤送信など4類型を確認
2026年10月9日にAnthropicが示したのは、ソフトウェアの欠陥を突いたサーバーでのコマンド実行、フォームへの不適切な送信、データへのアクセス制限の回避、URL短縮サービスによるツール制限の迂回などの事例だ。
多くは、通常の方法で作業を完了できない際に発生したという。
「Claude Mythos Preview」の例では、大学の分析ツールがエラーを返した際、サイト内のプログラムの調査を行った上で、脆弱性を発見した。その後は、サーバーでコマンドを実行して、計算を進めたという。
練習用の行政フォームを使えなくなったモデルが、政府の実際のサイトで送信した例もある。「Claude Haiku 4.5」は、未解決殺人事件に関する米警察の情報提供フォームへ架空の目撃情報を投稿した。ただし、投稿は迷惑情報と判定され、捜査には回されなかった。
ほかにも、行政機関が有料で提供するデータを、公開サイトから取得したアクセストークンを使って料金を支払わずに取得した事例があった。URLの長さ制限を短縮サービスで回避したモデルも確認された。
同社によると、実害は軽微で、把握する限り顧客データや自社の内部システムは関係していない。一部は米政府機関のサイトで発生し、関係機関への通知やホワイトハウスへの説明も行ったとのことだ。
対策としてAnthropicは、一部の評価試験を停止・オフライン化し、ウェブ取得ツールの制限を強化した。報告した事例を対象に検証したところ、すべてを遮断できたという。
安全対策を検証するまで、社内評価全般でネット接続を停止する方針だ。制限回避を助長する学習環境も見直す。
Anthropicは「モデルがより強力になれば、同じ行動がはるかに大きな被害をもたらしかねない」と説明し、今後も調査結果を公表する考えを示した。
透明性の向上に意義、実運用では権限設計が焦点
想定外の行動を具体的に公開することは、AIの安全性を検証するうえで意義がある。正常に課題を解く能力だけでなく、制約に直面した際の振る舞いまで把握できれば、導入企業も対策を検討しやすくなる。
一方、Anthropicは影響が軽微としているものの、開発・評価段階のモデルが第三者の実サイトで意図しない操作を行ったことは見過ごせない。公表による透明性の向上と実運用上の信頼性は区別し、今後の対策も合わせて評価する必要があるだろう。
企業のAIエージェント運用では、作業能力だけでなく、アクセス先や操作権限の限定、重要な送信前の確認、挙動の監視を組み合わせる設計が重要となる。判断能力を高める学習と、技術的な制限を設ける対策の両立が、信頼性を左右すると考えられる。
関連記事:
OpenAI、AIエージェントのデータ送信事例を確認 安全対策を強化
アクセンチュアとAnthropicが提携 AI安全性の「組み込み型評価者」チーム設立へ
