Ropedia W0、人の経験をロボットへ拡張

研究チームは10月19日公開の論文で、人間とロボットの身体を通じて行動の結果を予測する基盤世界モデル「Ropedia W0」を発表しました。移動と物体操作を組み合わせ、身体構造が異なっても使える共通表現を採用しています。

チームは、人間の一人称視点データ1万時間分とロボットデータ3,000時間分からなる「Xp-Data」を整備しました。データにはマルチモーダル注釈、カメラの軌跡、運動学的な骨格、階層型キャプションが含まれ、体系的な品質管理も行われています。モデルは移動をカメラ姿勢で、物体操作を投影した骨格で表現します。ロボットの骨格は、ロボットの構造から関節位置を計算する順運動学と、人手で注釈・修正したキーポイントを組み合わせています。

研究チームは、高品質なヒューマノイド遠隔操作データを基に、長時間のタスクを扱うベンチマーク「Xp-Teleop」も作成しました。研究チームによると、モデルは異なる身体構造をまたぐ5つのベンチマーク「DreamDojo」「Ψ_0」「ω-HOME」「Xp-Teleop」「AgiBot」と、学習に使っていない人間の一人称視点動画で最高水準の結果を示しました。評価では、追加学習なしの推論、少量データでの学習、全データを使った事後学習を実施しています。人間の事前学習データを増やすと、人間とロボット双方の評価結果が改善しました。

蒸留後の「Ropedia W0」は、ライブVRでリアルタイムに分単位のシミュレーションを実行できます。チームは、方策の評価、モデルベース計画、身体を持つエージェントの意思決定に向けた世界・行動モデリングへの応用も試しました。

研究チームは10月19日公開の論文で、人間とロボットの身体を通じて行動の結果を予測する基盤世界モデル「Ropedia W0」を発表しました。移動と物体操作を組み合わせ、身体構造が異なっても使える共通表現を採用しています。

チームは、人間の一人称視点データ1万時間分とロボットデータ3,000時間分からなる「Xp-Data」を整備しました。データにはマルチモーダル注釈、カメラの軌跡、運動学的な骨格、階層型キャプションが含まれ、体系的な品質管理も行われています。モデルは移動をカメラ姿勢で、物体操作を投影した骨格で表現します。ロボットの骨格は、ロボットの構造から関節位置を計算する順運動学と、人手で注釈・修正したキーポイントを組み合わせています。

研究チームは、高品質なヒューマノイド遠隔操作データを基に、長時間のタスクを扱うベンチマーク「Xp-Teleop」も作成しました。研究チームによると、モデルは異なる身体構造をまたぐ5つのベンチマーク「DreamDojo」「Ψ_0」「ω-HOME」「Xp-Teleop」「AgiBot」と、学習に使っていない人間の一人称視点動画で最高水準の結果を示しました。評価では、追加学習なしの推論、少量データでの学習、全データを使った事後学習を実施しています。人間の事前学習データを増やすと、人間とロボット双方の評価結果が改善しました。

蒸留後の「Ropedia W0」は、ライブVRでリアルタイムに分単位のシミュレーションを実行できます。チームは、方策の評価、モデルベース計画、身体を持つエージェントの意思決定に向けた世界・行動モデリングへの応用も試しました。