LoopCoder-v2、効率的な2ループ型トランスフォーマーを発表
HuggingFace
2026年6月18日 (木)
- •7Bパラメータの並列ループ型トランスフォーマー「LoopCoder-v2」は、2つの計算ループを用いてコード生成能力を強化する。
- •SWE-bench Verifiedで43.0から64.4へ、Multi-SWEで14.0から31.0へとスコアを大幅に向上させた。
- •研究チームは、ループ回数を増やすとオフセットコストにより性能が低下する非単調な現象を特定した。
ジャン・ヤン（Jian Yang）率いる研究チームは2026年6月16日、コード生成向けに設計された7Bパラメータの並列ループ型トランスフォーマー「LoopCoder-v2」を発表した。モデルは18Tトークンを用いてゼロから事前学習され、その後インストラクション・チューニングが施されている。本研究では、共有ブロックを繰り返し適用して潜在的な計算量をスケーリングする並列ループ型トランスフォーマーの構造を調査した。その結果、2ループ構成が性能向上に寄与する一方、3回以上のループ適用は収穫逓減と性能低下を招くことが明らかになった。
実証実験の結果、2ループ版はループなしのベースラインモデルを大きく上回った。SWE-bench Verifiedでは43.0から64.4ポイントへ、Multi-SWEでは14.0から31.0ポイントへとそれぞれ改善した。研究者らは、第2ループで表現の洗練が有効に行われる一方、それ以降のループでは振動的な更新や表現の多様性の低下が生じると指摘している。さらに、ループ間の位置オフセットは必要不可欠だが、最終的には洗練による利益を上回る位置的不一致を引き起こし、非単調なトレードオフを生じさせる。