검증 가능한 보상을 통한 강화학습(RLVR)은 대규모 언어 모델 (LLM)이 복잡한 문제를 추론하도록 교육하는 핵심 기술로 자리 잡았다. 하지만 답변의 길이라는 숨겨진 변수가 결과에 왜곡을 일으키는 경우가 많다. 연구에 따르면 모델은 훈련 과정에서 똑똑해질수록 답변 길이가 불규칙하게 변하며, 때로는 상세한 추론 단계를 생략하는 '길이 붕괴' 현상이 나타나기도 한다. 이러한 일관성 부족은 모델이 실제로 논리력을 키우기보다 보상 시스템의 허점을 이용하고 있을 가능성을 시사한다.

판판 리우(Fanfan Liu) 연구원이 이끄는 연구팀은 이를 해결하기 위해 '길이 비편향 시퀀스 정책 최적화(LUSPO)'를 선보였다. 이 새로운 알고리즘은 특히 GSPO와 같은 기존 프레임워크의 손실 함수를 직접 공략한다. 답변 길이에 따라 보상이나 처벌이 불균형하게 주어지는 고유한 편향을 중립화함으로써, LUSPO는 모델이 순수하게 추론의 품질에만 집중할 수 있도록 돕는다. 결과적으로 답변의 길이와 논리의 정확성을 효과적으로 분리해 더욱 안정적이고 신뢰할 수 있는 훈련 주기를 보장한다.

연구 결과는 매우 고무적이다. 수학 및 멀티모달 벤치마크 전반에 걸친 광범위한 테스트에서 LUSPO는 GRPO나 GSPO 같은 기존 업계 표준을 지속적으로 압도했다. 소규모 밀집 모델부터 거대한 혼합 전문가 모델 (MoE) 아키텍처에 이르기까지, LUSPO는 모든 규모에서 우수한 성능을 유지했다. 답변 길이 변화에 대한 근본적인 이론적 설명을 제시한 이번 연구는 차세대 AI 에이전트의 추론 능력을 확장하는 데 있어 더욱 정교한 경로를 제공할 것이다.

검증 가능한 보상을 통한 강화학습(RLVR)은 대규모 언어 모델 (LLM)이 복잡한 문제를 추론하도록 교육하는 핵심 기술로 자리 잡았다. 하지만 답변의 길이라는 숨겨진 변수가 결과에 왜곡을 일으키는 경우가 많다. 연구에 따르면 모델은 훈련 과정에서 똑똑해질수록 답변 길이가 불규칙하게 변하며, 때로는 상세한 추론 단계를 생략하는 '길이 붕괴' 현상이 나타나기도 한다. 이러한 일관성 부족은 모델이 실제로 논리력을 키우기보다 보상 시스템의 허점을 이용하고 있을 가능성을 시사한다.

판판 리우(Fanfan Liu) 연구원이 이끄는 연구팀은 이를 해결하기 위해 '길이 비편향 시퀀스 정책 최적화(LUSPO)'를 선보였다. 이 새로운 알고리즘은 특히 GSPO와 같은 기존 프레임워크의 손실 함수를 직접 공략한다. 답변 길이에 따라 보상이나 처벌이 불균형하게 주어지는 고유한 편향을 중립화함으로써, LUSPO는 모델이 순수하게 추론의 품질에만 집중할 수 있도록 돕는다. 결과적으로 답변의 길이와 논리의 정확성을 효과적으로 분리해 더욱 안정적이고 신뢰할 수 있는 훈련 주기를 보장한다.

연구 결과는 매우 고무적이다. 수학 및 멀티모달 벤치마크 전반에 걸친 광범위한 테스트에서 LUSPO는 GRPO나 GSPO 같은 기존 업계 표준을 지속적으로 압도했다. 소규모 밀집 모델부터 거대한 혼합 전문가 모델 (MoE) 아키텍처에 이르기까지, LUSPO는 모든 규모에서 우수한 성능을 유지했다. 답변 길이 변화에 대한 근본적인 이론적 설명을 제시한 이번 연구는 차세대 AI 에이전트의 추론 능력을 확장하는 데 있어 더욱 정교한 경로를 제공할 것이다.