海外の研究チームは、最先端AIエージェントに未公開のAI研究課題を6日間自律実行させた検証結果を公表した。エージェントは人手を借りずに実装作業を完了した一方、研究上の核心には十分迫れず、元論文の著者による評価では2件とも明確に不採択となった。
実装は完遂、研究の核心には届かず
2026年7月29日に学術プラットフォーム「arxiv」に投稿された論文によると、研究チームは、AIエージェントが自由度の高い研究開発をどこまで担えるかを測るため、「シャドー評価（※）」と呼ぶ手法を導入した。未公開のNeurIPS 2026投稿論文2本から中心的な研究課題を取り出し、最先端モデルに6日間と数千ドル相当の計算資源を与え、元論文の著者自身が成果を採点している。
従来の評価は、正解を機械的に判定できる狭い課題に偏るか、AI生成論文を通常の査読へ回す方式が中心だった。前者では自由研究の能力を測りにくく、後者は査読者の負担や評価のばらつきが課題となる。今回の手法は、既知の高品質研究を基準にしつつ、答えそのものは伏せて能力を確かめる試みだ。
結果として、エージェントはコード作成や実験環境の構築など、研究に必要なエンジニアリングを人間の支援なしで完了した。しかし、研究課題への実質的な進展は乏しく、2件とも著者から明確な不採択判定を受けた。
失敗要因として挙げられたのは、出版可能な研究水準への判断不足、設計上の欠点に対する発想の乏しさ、行き詰まりからの後戻りの弱さ、計算資源への認識不足、指示からの逸脱の5点である。別モデルと別の実行基盤を用いた再検証でも、同様の問題が再現された。
※シャドー評価：既存論文の答えを直接与えず、その中心課題だけをAIに解かせ、元論文の著者が成果を評価する手法。狭い正解判定型ベンチマークと、通常の査読の中間を目指す。
AI研究自動化の期待に現実的な上限
今回の結果は、AIが研究者の業務をまったく代替できないことを示すものではない。実装、実験管理、ログ整理といった工程ではすでに高い自律性を示しており、研究チームの作業時間を圧縮する補助役としての価値は大きいと考えられる。企業にとっては、探索候補の拡大や技術検証の並列化に活用できる可能性がある。
一方で、研究テーマの価値を見極め、失敗した仮説を捨て、限られた資源を再配分する判断は、現在のエージェントにとって依然難しいこともまた浮き彫りになった。AI研究の自動化を前提に急激な技術進歩を予測する議論には、慎重な見直しが必要だ。高額な計算資源を投入しても、誤った方向へ長時間進み続ければ、開発コストだけが膨らむリスクもある。
今後は、単純な性能向上だけでなく、途中評価、人間による方向修正、予算管理、撤退判断を組み込んだ研究支援システムが重要になるだろう。完全自律型の「AI研究者」よりも、人間が問いと評価基準を握り、AIが実装と探索を広く担う分業モデルが、当面の現実解となる可能性が高い。
論文「Can AI agents conduct open-ended AI research? Early evidence from two case studies」
関連記事:
電通、推し活ファン層の行動欲求をAIで分析 社内向けリサーチツールを本格運用開始
AnthropicがClaude Scienceを公開 科学研究の分析・論文作成をAIワークベンチで統合へ
