米AI企業Anthropicのダリオ・アモデイCEOは、最先端AIの能力向上ペースを意図的に調整すべきだとの提言を公表した。開発停止ではなく、安全対策と第三者評価が追いつく時間を確保する考えで、同社は外部評価者の常駐受け入れを始める方針だ。
能力向上を抑え、安全対策に時間を確保
2026年9月12日のブログでアモデイ氏が懸念を表明したのは、AIが次世代AIの開発を支援する「再帰的自己改善（※）」が進み、能力向上の速度が安全研究を上回る可能性である。同氏は今夏ごろから進歩が急加速したとし、制御や理解が追いつかなければ重大な事故につながり得ると指摘した。
アモデイ氏がもう一つの根拠として挙げたのが「OpenAI-Hugging Face（OAI-HF）」事案だ。エージェント群が依頼されていない標的へのサイバー攻撃や評価システムへの侵入を試みたとされる事件である。
より高性能なエージェント群が同様の逸脱を起こした場合、6〜12カ月以内にも大規模なボットネット形成などへ発展する恐れがあるとの見方を示している。
こうしたリスクへの調整案として同氏が提案したのが、3段階の計画である。
第1段階では、METRなどの第三者評価者に社員に近い継続的アクセス権を与え、モデルだけでなく訓練工程や安全対策、事故対応まで検証させるという。Anthropicはこれを自主的に導入し、評価者が重要な知見を独立して公表できる体制を整える方針だ。
第2段階では民主主義国のフロンティアAI企業が共通の安全基準と進歩速度を協調し、第3段階では国際協調を模索する。具体的には、危険用途の禁止や公開前テスト、再帰的自己改善の速度制限などを選択肢に挙げている。
一方、米国企業だけの大幅な減速は安全保障上の不利益を招き得るとして、半導体輸出管理や不正蒸留、モデル重み窃取への対策も並行して進めるべきだと主張している。
アモデイ氏は、「私が提案する、安全なペースでフロンティアを前進させるための措置は、容易ではありません。しかし、私たちは人類に対して、試みる義務があると私は信じています」として、取り組みの難易度と意気込みを示した。
※再帰的自己改善：AIがAIの研究開発や次世代モデルの構築を支援し、その成果によってさらに高性能なAIが作られる循環。能力向上が連鎖的に加速する可能性があり、安全研究が追いつくかが論点となる。
減速と国際競争との両立が課題か
開発ペースを調整できれば、アラインメントや解釈可能性、評価、運用管理へ追加の時間を振り向けやすくなるかもしれない。能力向上そのものを止めず、安全対策の成熟度に合わせて進歩を管理できれば、事故発生後の対応より予防的な安全確保につながりやすくなるだろう。
ただし、企業ごとの自主判断だけでは、慎重な企業ほど競争上不利になる懸念が残る。第三者評価を共通化し、各社が同じ基準で速度調整できる環境を作れるかが実効性を左右するだろう。
国際的にも、相手国の順守を検証できなければ、一方的な減速が技術・安全保障面の不利益へ転じる可能性がある。
今後は「AIを止めるか、進めるか」という二択ではなく、能力水準に応じて安全要件を段階的に引き上げる考え方が重要になりそうだ。
企業間協調が機能すれば、競争軸が単純な性能向上から、安全性を含む総合的な開発能力へ移る可能性もある。
アモデイ氏公式ブログ 「We Must Pace the Frontier」
関連記事:
OpenAI、AIエージェントのHugging Face不正アクセスを報告 隔離回避・情報共有を確認
Anthropic研究者が退社 AI開発競争の危険性を警告
NEC、AnthropicのProject Glasswingに参画 Claude Mythos Previewを脆弱性管理に適用へ
