RoboColosseum、4種類のロボットでポリシーを評価
- •124拠点で4種類のロボットを使い、ロボット制御ポリシーを評価
- •オープントラックの5,699試行で、VLAポリシー5種と最先端AIエージェント3種を比較
- •G1ヒューマノイドの課題を完了したポリシーはなく、平均進捗は13.3～23.2％
研究者らは、異なる環境で現地運用されるロボットを使い、ロボット制御ポリシーを評価する分散型フレームワーク「RoboColosseum」を発表しました。11月2日公開の論文は、視覚・言語・行動を扱うポリシー（VLA）5種と最先端AIエージェント3種を、SO-101、Franka、Bimanual-YAM、G1ヒューマノイドの4種類のロボットで試したと報告しています。統一されたポリシー提供方式と標準化した手順により、拠点ごとの試行を比較できるようにしています。
オープントラックでは、124拠点で条件をそろえ、タスクごとの追加調整をせずに、盲検の一対比較を5,699回実施しました。最先端AIエージェントは専門特化型のVLAポリシーと同程度の成績でしたが、どのシステムも現実世界の多様なタスクを安定して完了するのに苦戦しました。ファインチューニングトラックでは20タスクを対象に、各ポリシーへタスクごとに同じ100件の実演データを与えました。調整後はSO-101でGR00T N1.7、FrankaとBimanual-YAMでpi0.5が首位となりました。
ロボットの種類ごとに設定したタスク群の順位は一致度が低く、ケンドールのWは0.24でした。オープントラックの順位はファインチューニング後の成績をうまく予測できず、両方のトラックで試した3種類すべてのロボットで順位が大きく入れ替わりました。研究者らはタスクの部分的な進捗も測定しました。G1ヒューマノイドでは5タスクのいずれも完了したポリシーはありませんでしたが、ポリシーごとの平均進捗は13.3～23.2％でした。試行を重ねるにつれてオープントラックの順位は安定し、能動的な組み合わせ選定は、一様なサンプリングより大幅に少ない実機試行で同程度の順位一致度に達しました。