Ai2、ロボット学習シミュレーション「ToyBlocks」発表
- •Ai2が、卓上のロボットアームとブロックを使う制御可能な学習シミュレーション「ToyBlocks」を発表
- •単一のGPUで数百件の実演計画を並列生成し、最大で実時間の24倍の速度を達成
- •Claude Opus 5.5は積み上げ課題30件中30件を解決し、文字探索課題では解決または実行不可能の正しい判定が63％
Ai2は2026年11月6日、ロボット学習を研究するための制御可能なシミュレーション基盤として、初の「FoundationWorld」となるToyBlocksを発表しました。卓上の模擬ロボットアームとブロックを使い、研究者は課題や訓練用の実演データを生成し、訓練データを変えながらロボットの動作を測定できます。試験を再現可能にし、ロボットが成功または失敗する理由を追えるようにすることが狙いです。
ToyBlocksは、現実的な物理挙動と外観、大規模な課題・実演データの自動生成、推論と器用さの両方を要する課題、限定された領域内での幅広い課題を組み合わせています。ブロックには絵や文字があり、探索、分類、配置の課題を作れます。隠れた面を見せるために、ロボットがブロックを回転させる必要がある場合もあります。ドメインランダマイゼーション（場面ごとに物理特性を変える手法）では、ブロックの大きさやテーブルの高さなどを変え、汎化能力を試します。
この基盤は、人が遠隔操作しなくても、短い課題の技能や実演データを生成します。強化学習と動作計画により、ブロックを持ち上げずに押したり裏返したりする技能を作ります。訓練には、Nvidiaのオープンソースのロボット学習シミュレーション基盤Isaac Labを使います。シミュレーターはブロックの正確な位置や向きなど、実機ならカメラ画像から推定する必要がある情報を提供できます。課題・動作プランナーが技能の順序と動きを計画し、その計画をシミュレーションで実行すると、各課題や技能の実演データとラベルが記録されます。ToyBlocksは単一のGPUで数百件の計画を並列実行でき、実時間の最大24倍に達します。
研究者は、特定の技能を重視したり、データセットの不足を補ったりする訓練データの組み合わせを作り、訓練から除外した課題で性能を試せます。回転や持ち上げて置く実演が裏返し動作を改善するか、作業領域の内外の事例で結果がどう変わるかも調べられます。評価では成功率に加え、実行速度、物体にかかる力、課題の進み具合を報告します。ウェブ画面からClaudeなどの最先端モデルを接続し、ロボットに自然言語で指示することもできます。
Ai2はToyBlocksを使い、動作モデルが技能の連続、文字や色、ブロック数、作業領域内の位置をまたいで汎化するかを調べました。研究では、訓練範囲内への補間と、範囲外への外挿を区別します。たとえば、ブロック2個と5個の積み上げで訓練し、3個と4個の高さで試します。初期結果では、大規模な事前訓練を受けたManiFlow、π0.5、MolmoAct 2も汎化が不十分でした。チームは汎化の改善と各手法の寄与の分析を進めていますが、問題は未解決だとしています。
長い課題では、正しい計画や動作を与える「オラクル」と呼ばれる参照機能を使い、高水準の計画と低水準の実行のどちらに失敗があるかを切り分けられます。ブロックで単語を綴る課題では、Molmo 2が技能とブロックを選び、ManiFlowが指示を実行します。チームはClaude Opus 5.5を使うエージェント型システムも試しました。古典的計画課題では、テキスト説明からの積み上げ課題30件中30件を解決し、カメラ観察と動作選択を繰り返す方式でも30件中30件を解決しました。文字探索課題では最大8個のブロックから文字を探し、場面の50％には必要な文字が少なくとも1つありませんでした。課題の63％で解決するか、実行不可能と正しく判定しました。誤りには、13％のケースで似た文字を取り違えたこと、15％で文字の向きを誤って選んだことが含まれます。ブロックの意味的な模様により、隠れた面について推論し、実行不可能な場面をより速く判定できた例もありました。
さらにAi2は、技能の振る舞いをエージェントに調べさせる実験を行いました。技能が予想外に動くと、エージェントは仮説を立て、小規模な試験を設計し、その結果をもとに理解を修正しました。原文はこの実験の説明の途中で終わっています。