Code2LoRA、コードベース適応を強化する新フレームワーク発表
HuggingFace
2026年6月6日 (土)
- •Code2LoRAはハイパーネットワークを用い、リポジトリ固有のコンテキストをコードLLMに注入するアダプターを生成する。
- •静的モードと、GRU（ゲート付き回帰型ユニット）によりコミットごとにアダプターを更新する進化モードの二種類を備える。
- •RepoPeftBenchの評価で、Code2LoRA-Evoは92件の学習外リポジトリに対し74.1%の完全一致精度を達成した。
ウォータールー大学の研究チームは、コード言語モデルにリポジトリ固有のコンテキストを付与するためのハイパーネットワークフレームワーク「Code2LoRA」を発表した。本手法はリポジトリのスナップショットやコミットストリームを直接アダプターの重みに変換することで、RAGや長大なプロンプトで発生する推論時のトークンオーバーヘッドを解消する。Code2LoRAは、単一のリポジトリ状態を処理する「Code2LoRA-Static」と、コードの進化に合わせて差分からアダプターを逐次更新する「Code2LoRA-Evo」の二つの動作モードを提供する。
性能評価には604件のPythonリポジトリと数千件のタスクを含むデータセット「RepoPeftBench」を用いた。トレーニング4万件、テスト1.2万件で構成される静的トラックにおいて、Code2LoRA-Staticはリポジトリ間タスクで63.8%、リポジトリ内タスクで66.2%の完全一致精度を達成し、リポジトリごとに個別にLoRA学習を行った場合と同等の性能を示した。
21.5万件のコミット由来トレーニングタスクと8.7万件のテストタスクによる進化トラックでは、Code2LoRA-Evoが60.3%の完全一致精度を記録した。これは共有LoRAベースラインを5.2ポイント上回る数値である。また学習分布外の92件のリポジトリを用いた検証では、Qwen2.5-Coderベースモデルの精度を44.6%から74.1%へと大幅に向上させた。