Metaらの研究チームは、視覚言語モデルの身体行動能力を測る評価基盤「HumanCLAW」を公開した。
物理シミュレーション上で9種類のVLMを検証した結果、探索から移動、物体操作までを完遂した成功率は最高でも16.8％にとどまった。
VLM9種を検証、いずれも成功率は低水準
2026年7月29日に研究チームが公開した「HumanCLAW」は、VLM(※)による行動判断と、身体を動かす低レベルの運動制御を切り分けて評価するフレームワークである。
従来はタスクに失敗した際、モデルの判断が誤っていたのか、転倒や姿勢の乱れによって命令を実行できなかったのかを判別しにくい課題があった。
HumanCLAWでは、既製のVLMが各ステップで単一のスキルコマンドを出力し、その指示を1秒未満の連続的な全身運動へ変換する。
重力や衝突を伴う物理環境で身体を動かしながら、運動制御による影響を切り分け、VLMの意思決定能力を評価できる仕組みだ。
これにより、身体を動かす能力ではなく、次に何をすべきかを判断するモデルの「行動知能」を測定できる。
研究チームは41の屋内シーンを用意し、一人称視点で探索、移動、物体とのインタラクションを続ける1,218件の長期エピソードから「HumanCLAW-Bench」を構築した。
最先端のVLM9種類を評価したものの、ベンチマークを達成したモデルは一つもなく、最高性能でも成功率は16.8％だった。
※VLM：画像や映像などの視覚情報と言語情報を組み合わせて理解し、質問への回答や行動指示の生成を行うAIモデル。
身体の自己認識が実世界AIの課題に
今回の結果は、物体や標的を認識する能力が高くても、物理空間で一連の行動を成立させるには不十分であることを示している。
現在のVLMは、自分の身体がどの位置にあり、どの方向を向き、目標地点へ到達したかを継続的に把握する能力が弱いと言える。
障害物への衝突や移動の失敗を認識できなければ、次の判断も連鎖的に崩れる可能性が高い。
一方、HumanCLAWによって意思決定と運動制御を分離できれば、モデル側の弱点を特定しやすくなるだろう。
ロボットやヒューマノイドの開発では、ハードウェアの制御性能だけでなく、自己位置や身体状態を踏まえて行動を修正する能力を個別に比較できる点が利点となる。
今後は、身体の姿勢や接触状態を記憶し、過去の行動結果を次の判断へ反映する仕組みが重要になると考えられる。
ただし、物理シミュレーションで性能が向上しても、現実環境では照明変化や予測不能な障害物、人との接触など条件がさらに複雑化するだろう。
VLMを実世界の自律エージェントへ展開するには、認識精度だけでなく、身体性に基づく自己認識と長期的な行動計画の強化が不可欠と言える。
arXiv HumanCLAW: Can Vision-Language Models Act Through a Body?
関連記事：
Google、Gemini Robotics ER 1.6発表 ロボット用AIが物理世界の推論を強化
