PyRUA-DataFarm、ロボット訓練データを生成

研究チームは、シミュレーション内でロボット訓練用のデモを生成するシステム「PyRUA-DataFarm」を発表しました。各エピソードでロボットを遠隔操作してデータを集める費用を抑えることを目指しています。エージェントはデータの要望と、対象環境でロボットが実行した較正用エピソードを受け取り、シミュレーション環境、課題を実行する専門制御プログラム、成功判定器を構築します。シミュレーターが動作を生成し、動画モデルが実画像を使って、同期したカメラ映像を備える写真のようなシミュレーション動画を作ります。生成データは映像とロボットの動作を組み合わせており、方策の訓練と実機への適用に使えます。独立した判定器が制御プログラムと各生成エピソードを確認してから、データを採用します。

実ロボットを使った5つの課題では、DataFarmのデータだけで訓練した方策は100回の試行中93回成功し、同数の遠隔操作エピソードで訓練した方策は84回成功しました。見たことのないテーブルクロスと色付き照明を使った条件では、DataFarmの方策が87回、遠隔操作で訓練した方策が46回成功しました。論文によると、課題への適応は全自動で、課題ごとのAPI利用料は平均21ドル、初回のみ発生し、レンダリング契約に5ドルかかります。追加のエピソードは、ロボットや作業者を使わず、シミュレーション、動画生成、確認を含めて平均0.80ドルです。

研究者らは、これらの費用を含め、課題ごとに3視点のデータを1時間分生成する費用を平均107ドルと見積もりました。中国での遠隔操作の見積額117ドル、北米での人件費のみの290ドルと比較しています。論文は11月4日に公開され、DAGroup-PKUがHugging Face Papersに投稿しました。著者らは、DataFarmによって遠隔操作より低コストで実機に適用できるロボット訓練データを作成できると述べています。

研究チームは、シミュレーション内でロボット訓練用のデモを生成するシステム「PyRUA-DataFarm」を発表しました。各エピソードでロボットを遠隔操作してデータを集める費用を抑えることを目指しています。エージェントはデータの要望と、対象環境でロボットが実行した較正用エピソードを受け取り、シミュレーション環境、課題を実行する専門制御プログラム、成功判定器を構築します。シミュレーターが動作を生成し、動画モデルが実画像を使って、同期したカメラ映像を備える写真のようなシミュレーション動画を作ります。生成データは映像とロボットの動作を組み合わせており、方策の訓練と実機への適用に使えます。独立した判定器が制御プログラムと各生成エピソードを確認してから、データを採用します。

実ロボットを使った5つの課題では、DataFarmのデータだけで訓練した方策は100回の試行中93回成功し、同数の遠隔操作エピソードで訓練した方策は84回成功しました。見たことのないテーブルクロスと色付き照明を使った条件では、DataFarmの方策が87回、遠隔操作で訓練した方策が46回成功しました。論文によると、課題への適応は全自動で、課題ごとのAPI利用料は平均21ドル、初回のみ発生し、レンダリング契約に5ドルかかります。追加のエピソードは、ロボットや作業者を使わず、シミュレーション、動画生成、確認を含めて平均0.80ドルです。

研究者らは、これらの費用を含め、課題ごとに3視点のデータを1時間分生成する費用を平均107ドルと見積もりました。中国での遠隔操作の見積額117ドル、北米での人件費のみの290ドルと比較しています。論文は11月4日に公開され、DAGroup-PKUがHugging Face Papersに投稿しました。著者らは、DataFarmによって遠隔操作より低コストで実機に適用できるロボット訓練データを作成できると述べています。