PAR, 장기 상태 추적 성능 개선

연구진은 훈련 때 본 것보다 긴 순서열에서 변화하는 상태를 더 잘 추적하도록 반복형 언어 모델을 훈련하는 진행 정렬 반복(PAR) 방법을 제안했습니다. 반복형 모델은 같은 층을 여러 차례 실행하지만, 반복 횟수만 늘린다고 더 긴 순서열을 처리하는 능력이 보장되지는 않습니다. 연구진은 최종 답만을 대상으로 훈련하면 각 반복 단계가 얼마나 진행해야 하는지 모델에 알려주지 못하고, 상태를 거듭 갱신하면 내부 상태의 규모가 변할 수 있다고 설명했습니다.

스왑-S5 과제에서 최대 32회 이동으로 학습한 Qwen2.5-0.5B 모델은 학습 예시보다 16배 긴 512회 이동 순서열에서 전체 상태 평균 정확도 95.5%를 기록했습니다. 논문은 같은 모델 구조를 사용한 RLT의 정확도를 55.7%, 연쇄 사고 방식의 정확도를 0.8%로 보고했습니다. 통제된 S5 실험에서는 정규화 고정을 제거하자 길이 일반화 배율이 16배에서 2.2배 미만으로 떨어졌고, 진행 정렬 목표를 최종 답 지도 방식으로 바꾸자 최대 8배로 낮아졌습니다.

PAR는 반복 단계 k의 예측이 처음 k개 연산을 마친 뒤의 상태와 일치하도록 훈련하고, 반복 상태의 크기를 첫 단계의 크기에 맞게 재조정합니다. 학습된 완료 판독기는 정해진 반복 깊이 없이 모델이 답변 시점을 선택하게 합니다. 중간 단계의 정답 표지가 없을 때는 접두부 자기 증류를 통해 최종 답만으로 짧은 접두부와 단계별 상태의 대응을 추정할 수 있습니다. 논문은 단일 질의 S5에서도 시험한 모든 크기에서 PAR가 고정 깊이 모델보다 앞섰다고 보고했습니다. 비교 대상은 0.5B부터 7B까지의 Qwen2.5 모델과 0.6B부터 4B까지의 Qwen3 모델이며, Qwen2.5 네 가지 크기 모두에서 가장 좋은 훈련 결과는 학습 길이의 16배에서 정확도 100%에 도달했습니다.

연구진은 훈련 때 본 것보다 긴 순서열에서 변화하는 상태를 더 잘 추적하도록 반복형 언어 모델을 훈련하는 진행 정렬 반복(PAR) 방법을 제안했습니다. 반복형 모델은 같은 층을 여러 차례 실행하지만, 반복 횟수만 늘린다고 더 긴 순서열을 처리하는 능력이 보장되지는 않습니다. 연구진은 최종 답만을 대상으로 훈련하면 각 반복 단계가 얼마나 진행해야 하는지 모델에 알려주지 못하고, 상태를 거듭 갱신하면 내부 상태의 규모가 변할 수 있다고 설명했습니다.

스왑-S5 과제에서 최대 32회 이동으로 학습한 Qwen2.5-0.5B 모델은 학습 예시보다 16배 긴 512회 이동 순서열에서 전체 상태 평균 정확도 95.5%를 기록했습니다. 논문은 같은 모델 구조를 사용한 RLT의 정확도를 55.7%, 연쇄 사고 방식의 정확도를 0.8%로 보고했습니다. 통제된 S5 실험에서는 정규화 고정을 제거하자 길이 일반화 배율이 16배에서 2.2배 미만으로 떨어졌고, 진행 정렬 목표를 최종 답 지도 방식으로 바꾸자 최대 8배로 낮아졌습니다.

PAR는 반복 단계 k의 예측이 처음 k개 연산을 마친 뒤의 상태와 일치하도록 훈련하고, 반복 상태의 크기를 첫 단계의 크기에 맞게 재조정합니다. 학습된 완료 판독기는 정해진 반복 깊이 없이 모델이 답변 시점을 선택하게 합니다. 중간 단계의 정답 표지가 없을 때는 접두부 자기 증류를 통해 최종 답만으로 짧은 접두부와 단계별 상태의 대응을 추정할 수 있습니다. 논문은 단일 질의 S5에서도 시험한 모든 크기에서 PAR가 고정 깊이 모델보다 앞섰다고 보고했습니다. 비교 대상은 0.5B부터 7B까지의 Qwen2.5 모델과 0.6B부터 4B까지의 Qwen3 모델이며, Qwen2.5 네 가지 크기 모두에서 가장 좋은 훈련 결과는 학습 길이의 16배에서 정확도 100%에 도달했습니다.