Hugging Face、コーディングエージェント向けQwenアダプター公開
- •Hugging Faceが、Pi向けに調整したQwen3.8-27BのLoRAアダプターを公開
- •高難度51課題の成功率が39.2%から64.7%に上昇し、ツール呼び出しも減少
- •開発チームの独自評価で、Pi環境における各課題1回の試行結果を測定
Hugging Faceは18日(現地時間)、AlibabaのQwen3.8-27BをオープンソースのコーディングエージェントPi向けに調整したLoRAアダプター「Qwen3.8-27B-pi-adapted」を公開しました。開発チームによると、SWE-bench Proの高難度課題51件で成功率は基本モデルの39.2%から64.7%に上がり、作業に必要なツール呼び出しも減りました。
LoRAアダプターは、基本モデルの構造と重みを保ちながら少量の追加重みを学習し、特定の作業やツールに適応させる方法です。このアダプターは強化学習(試行結果に応じて行動を調整する学習法)を使い、コーディングやターミナル作業を繰り返すよう訓練されました。開発チームは、課題の正解だけでなく、ツールをどれだけ効率よく使ったかも報酬に反映しました。
評価では、両モデルとも推論モードをオフにして比較しました。SWE-bench Proの高難度課題51件の成功率は39.2%から64.7%に上昇し、ターミナル作業能力を測るTerminal-Bench 2.1では39.5%から55.8%に上がりました。両モデルが解いた課題に限ると、課題あたりのツール呼び出し回数の中央値は、SWE-bench Proで59回から23回に、Terminal-Bench 2.1で18回から8回に減りました。
開発チームは、推論モードをオフにしたアダプターモデルが、基本モデルの最高推論設定と同程度の成功率を出し、この比較で課題あたりの生成トークン数の中央値は約4.5分の1だったと説明しました。ベンチマークの答えを事前に探したり、テストを操作したりして報酬を得る行為を防ぐため、すべてのツール呼び出しをルールベースで検査し、不正の可能性がある要求を遮断するsafeagentsも導入しました。
アダプターはApache 2.0オープンソースライセンスで公開され、vLLMやllama.cppなどで実行できます。Hugging FaceはPiのほか、OpenCodeやHermesなど各コーディングエージェントの環境に合わせたアダプターも作り、1つの基本モデルを複数の開発作業に活用する構想を示しました。数値は開発チームによる独自評価で、Pi環境で各課題を1回試行した結果です。他のエージェント環境や評価条件でも同じ改善が得られるかは、追加検証が必要です。
最も速く正確なAIニュースをメールでいかがですか?