上海交通大学の研究者は、過去のバグ修正を逆向きに利用し、現実的なソフトウェア開発課題を作る枠組み「SWE-at-Scale」を発表しました。論文「SWE-at-Scale: Scalable Issue Synthesis from Historical Bug Fixes」は10月15日に公開され、10月16日にHugging Face Papersへ投稿されました。コーディングエージェントの評価に使う課題を、より幅広く多様に用意することを目指しています。

研究者によると、現実のソフトウェア上の問題は開発者が報告する頻度に左右され、課題を人手で選定するには費用がかかります。既存の合成手法は主に、大規模モデルが事前学習で得た知識や経験則に基づくプロンプトを使いますが、実際のソフトウェア障害が起きる複雑な仕組みを捉えきれないことが多いと著者らは指摘しています。SWE-at-Scaleは実際の修正をバグ発生の手掛かりとして扱い、修正例を開発現場の状況に根差したバグ誘発例へ変換します。

この枠組みは、学習したバグのパターンを未知のコード環境に適用し、異なる種類のバグを選んで実行可能な課題を作ります。実験では、著者らの説明によると、現在の合成ベースラインより多様で現実的な課題を生成し、最先端のコーディングエージェントにとってより難しい課題にもなりました。同じコード環境から異なる種類のバグを作ることができ、1ファイルあたり200世代までバグの多様性が安定して拡大したと報告しています。著者らは、限られた数の実際の修正を再利用し、大規模に課題を生成する方法として提案しています。

上海交通大学の研究者は、過去のバグ修正を逆向きに利用し、現実的なソフトウェア開発課題を作る枠組み「SWE-at-Scale」を発表しました。論文「SWE-at-Scale: Scalable Issue Synthesis from Historical Bug Fixes」は10月15日に公開され、10月16日にHugging Face Papersへ投稿されました。コーディングエージェントの評価に使う課題を、より幅広く多様に用意することを目指しています。

研究者によると、現実のソフトウェア上の問題は開発者が報告する頻度に左右され、課題を人手で選定するには費用がかかります。既存の合成手法は主に、大規模モデルが事前学習で得た知識や経験則に基づくプロンプトを使いますが、実際のソフトウェア障害が起きる複雑な仕組みを捉えきれないことが多いと著者らは指摘しています。SWE-at-Scaleは実際の修正をバグ発生の手掛かりとして扱い、修正例を開発現場の状況に根差したバグ誘発例へ変換します。

この枠組みは、学習したバグのパターンを未知のコード環境に適用し、異なる種類のバグを選んで実行可能な課題を作ります。実験では、著者らの説明によると、現在の合成ベースラインより多様で現実的な課題を生成し、最先端のコーディングエージェントにとってより難しい課題にもなりました。同じコード環境から異なる種類のバグを作ることができ、1ファイルあたり200世代までバグの多様性が安定して拡大したと報告しています。著者らは、限られた数の実際の修正を再利用し、大規模に課題を生成する方法として提案しています。