이 기사의 핵심 내용은?

7B 파라미터 규모의 LoopCoder-v2는 두 개의 연산 루프를 활용해 코드 생성 성능을 개선했다. 모델은 SWE-bench Verified에서 64.4점(기존 43.0점), Multi-SWE에서 31.0점(기존 14.0점)을 기록했다. 연구진은 루프 횟수가 2회를 초과할 경우 오프셋 비용으로 인해 성능이 저하되는 비단조적 루프 효과를 확인했다.

LoopCoder-v2, 효율적인 이중 루프 트랜스포머 아키텍처 도입

•7B 파라미터 규모의 LoopCoder-v2는 두 개의 연산 루프를 활용해 코드 생성 성능을 개선했다.
•모델은 SWE-bench Verified에서 64.4점(기존 43.0점), Multi-SWE에서 31.0점(기존 14.0점)을 기록했다.
•연구진은 루프 횟수가 2회를 초과할 경우 오프셋 비용으로 인해 성능이 저하되는 비단조적 루프 효과를 확인했다.

지안 양(Jian Yang)과 공동 연구진은 코드 생성을 위해 설계된 7B 규모의 병렬 루프 트랜스포머(PLT) 모델 시리즈인 LoopCoder-v2를 6월 16일, 2026년에 발표했다. 연구진은 18T 토큰으로 모델을 처음부터 학습시킨 후 지침 튜닝을 진행했다. 이번 연구는 공유 블록을 반복적으로 적용하여 잠재 연산을 확장하는 PLT 아키텍처에서의 루프 횟수 선택 문제를 다룬다. 모델의 루프를 2회 적용할 경우 성능이 향상되지만, 3회 이상 추가할 경우 성능이 점차 하락하고 오히려 퇴보하는 현상이 발견되었다.

실험 결과, 2루프 버전은 루프가 없는 기본 모델보다 월등한 성능을 보였다. 특히 SWE-bench Verified 벤치마크에서는 기존 43.0점에서 64.4점으로 점수가 상승했으며, Multi-SWE 벤치마크에서는 14.0점에서 31.0점으로 향상되었다. 연구진은 두 번째 루프에서 효율적인 표현 정제(representation refinement)가 이루어지기 때문이라고 분석했다. 반면, 추가 루프는 진동성 업데이트를 유발하고 표현의 다양성을 감소시키는 경향이 있다. 또한 루프 간 위치 오프셋(position offsets)은 정제 과정에 필수적이지만, 오프셋에 따른 위치 불일치가 정제 효과를 상쇄하며 비단조적인 성능 추이를 형성한다.

지안 양(Jian Yang)과 공동 연구진은 코드 생성을 위해 설계된 7B 규모의 병렬 루프 트랜스포머(PLT) 모델 시리즈인 LoopCoder-v2를 6월 16일, 2026년에 발표했다. 연구진은 18T 토큰으로 모델을 처음부터 학습시킨 후 지침 튜닝을 진행했다. 이번 연구는 공유 블록을 반복적으로 적용하여 잠재 연산을 확장하는 PLT 아키텍처에서의 루프 횟수 선택 문제를 다룬다. 모델의 루프를 2회 적용할 경우 성능이 향상되지만, 3회 이상 추가할 경우 성능이 점차 하락하고 오히려 퇴보하는 현상이 발견되었다.

실험 결과, 2루프 버전은 루프가 없는 기본 모델보다 월등한 성능을 보였다. 특히 SWE-bench Verified 벤치마크에서는 기존 43.0점에서 64.4점으로 점수가 상승했으며, Multi-SWE 벤치마크에서는 14.0점에서 31.0점으로 향상되었다. 연구진은 두 번째 루프에서 효율적인 표현 정제(representation refinement)가 이루어지기 때문이라고 분석했다. 반면, 추가 루프는 진동성 업데이트를 유발하고 표현의 다양성을 감소시키는 경향이 있다. 또한 루프 간 위치 오프셋(position offsets)은 정제 과정에 필수적이지만, 오프셋에 따른 위치 불일치가 정제 효과를 상쇄하며 비단조적인 성능 추이를 형성한다.