AI評価機関METRとRedwood Researchは、米OpenAIの社内AIエージェント監視システムに関する共同調査の結果を公表した。監視対象から処理を外す手法など複数の脆弱性を確認し、AIによる監視回避につながる恐れを指摘している。
OpenAI内部監視で複数の抜け穴、外部研究者が検証
2026年10月22日に公開された調査概要によると、両機関の研究者各1人は、7月21日から8月11日までの3週間、OpenAIの内部コードや監視設定、文書にアクセスし、安全性・セキュリティ担当者ら約12人への聞き取りを実施したという。
調査対象は主に7月21日以前の非同期の不適切行動監視システムであり、調査中に進められた拡張後の監視範囲を評価したものではない。
研究者らは、Codexのサンドボックスと自動レビューを理論上回避する手法や、直近の数百件の行動を監視対象から外せる脆弱性、特定のヘッダーによって新規エージェントの監視を無効化できる問題を特定した。
これらは悪用の可能性を示すもので、実際の被害発生を報告したものではない。
当時、GPT-5.5以上の性能を持つモデルによる社内Responses APIのエージェント処理のうち、監視対象となる条件を満たした割合は約75〜94％と推定された。社内Codexエージェント向けの処理では99.2％だったが、実際に監視が行われた割合を示すものではない。
また、強化学習の訓練実行は調査開始時点では同システムの監視対象外だった。
具体的には、会話履歴を圧縮する処理（※）が監視の契機にならず、5〜7月の対象トラフィックの約1割が監視されていなかった可能性がある。
この問題はOpenAI側が調査前に把握し、調査期間中に修正した。また、当時の監視システムはエージェントがユーザーに制御を返す際に起動する仕組みだったため、compactionが監視対象外だった期間には、エージェントが処理を続けることで監視を無期限に先延ばしできる可能性もあった。
研究者らは、一定の時間やメッセージ数ごとに監視を行う設計、監視予定の処理と実際の監視記録の照合、改ざんに強いログの整備を提案した。
さらに、エージェントが監視の起動条件を操作できないよう実行環境を分離し、定期的に監視基盤そのものを攻撃者の立場から検証する必要性も訴えている。
※会話履歴を圧縮する処理：AIエージェントが長い作業履歴を要約・整理し、扱う文脈を短くする操作。原文では「compaction」と呼ばれる。監視の実行タイミングと重なるかどうかが、今回の調査で問題になった。
監視の独立性と検証体制が課題、修正状況は未確認
今回の調査が示したのは、AIの行動を判定する監視モデルの性能だけでなく、監視を起動する仕組み自体が安全性を左右するという点だ。監視を回避できる経路が残れば、不適切な行動を検知する能力が高くても、その能力を発揮できない恐れがある。
こうした対策は、企業が業務をAIエージェントに委ねる際のリスク管理にも示唆を与える。ただし監視の頻度を増やせば運用負荷との調整が必要になるため、監視の網羅性と効率の両立が論点となりそうだ。
OpenAIは本番環境の安全対策に影響する指摘済みの脆弱性をすべて修正したと説明し、監視範囲も変更したという。ただし両機関はその主張を検証していない。過去のシステムへの指摘を現在の危険性と同一視せず、修正後の実効性を独立して確かめることが重要となる。
関連記事:
Anthropic、Claudeの想定外の行動4類型を公表 社内評価のネット接続停止へ
OpenAIとHugging FaceがAI侵害事案を共同調査 モデル評価中の前例ないセキュリティ事故を公表
OpenAIがメンテナンス負担軽減のためのOSS脆弱性修正を支援 「Patch the Planet」で発見からパッチ開発まで支援
