ReproBridge、機械学習実験の再現性を改善

研究者らは、論文とその公式コードリポジトリから再現可能な機械学習研究成果物を作るエージェント型ワークフロー「ReproBridge」を発表しました。論文は11月6日にarXivで公開され、11月10日にHugging Face Papersへ投稿されました。ベンチマーク「ReproBridge-Bench」は、ICML 2026の36論文にまたがる387実験から抽出した1,029タスクで構成され、各タスクに人間が検証した参照スコアを5つ備えています。

改良済み再現用成果物（RRA）は、修正したコード、環境設定、実験実行用スクリプト、設定や修正の理由を記録した再現ガイドを組み合わせたものです。ReproBridgeは「Specify → Execute → Preserve」の手順に、独立したレビュー担当を加えます。新しいセッションを使い、4種類のコーディングエージェントで試したところ、RRAによって平均再現成功率は76.4%から92.6%に上がり、後続処理でのAPI支出は平均19.7%減りました。モデル間の成功率の差は21.6ポイントから3.9ポイントに縮まり、4種類すべてで平均成功率が90%を超えました。

アブレーションスタディでは、構成要素をどれか一つ取り除くと成功率が下がり、コードまたは環境設定を取り除いた場合に低下幅が最大となりました。外部評価のCORE-Bench Hardでは、カプセルの成功率が62.2%から73.3%に上昇し、成功したカプセル1件あたりの費用は4.34でした。報告スコアが有効な実行結果を反映しているか確かめるため、Auditorは値を出力ファイル、実行記録、スクリプトまで追跡しました。人間のレビュー担当者2人との比較では、818件の結果に対して適合率88.6%、再現率79.5%を達成しました。研究者らは、独立した人間による5回の再現に基づく互換性区間も用い、成果物の品質とエージェントの能力を区別するため、タスクを固定して引き継ぎ方法を変更しています。コードとデータは内部審査中で、承認後に公開する予定だとしています。

研究者らは、論文とその公式コードリポジトリから再現可能な機械学習研究成果物を作るエージェント型ワークフロー「ReproBridge」を発表しました。論文は11月6日にarXivで公開され、11月10日にHugging Face Papersへ投稿されました。ベンチマーク「ReproBridge-Bench」は、ICML 2026の36論文にまたがる387実験から抽出した1,029タスクで構成され、各タスクに人間が検証した参照スコアを5つ備えています。

改良済み再現用成果物（RRA）は、修正したコード、環境設定、実験実行用スクリプト、設定や修正の理由を記録した再現ガイドを組み合わせたものです。ReproBridgeは「Specify → Execute → Preserve」の手順に、独立したレビュー担当を加えます。新しいセッションを使い、4種類のコーディングエージェントで試したところ、RRAによって平均再現成功率は76.4%から92.6%に上がり、後続処理でのAPI支出は平均19.7%減りました。モデル間の成功率の差は21.6ポイントから3.9ポイントに縮まり、4種類すべてで平均成功率が90%を超えました。

アブレーションスタディでは、構成要素をどれか一つ取り除くと成功率が下がり、コードまたは環境設定を取り除いた場合に低下幅が最大となりました。外部評価のCORE-Bench Hardでは、カプセルの成功率が62.2%から73.3%に上昇し、成功したカプセル1件あたりの費用は4.34でした。報告スコアが有効な実行結果を反映しているか確かめるため、Auditorは値を出力ファイル、実行記録、スクリプトまで追跡しました。人間のレビュー担当者2人との比較では、818件の結果に対して適合率88.6%、再現率79.5%を達成しました。研究者らは、独立した人間による5回の再現に基づく互換性区間も用い、成果物の品質とエージェントの能力を区別するため、タスクを固定して引き継ぎ方法を変更しています。コードとデータは内部審査中で、承認後に公開する予定だとしています。