10월 12일 arXiv에 공개된 연구 논문은 검증 가능한 보상으로 언어 모델의 추론을 학습하는 방법인 Tracking-Value PPO(TPPO)를 소개했습니다. 연구진은 보상이 추론 끝에만 주어질 때 기존 PPO의 가치 예측기가 추론 과정에 따른 가치 변화를 추적하지 못하는 경우가 많다고 설명했습니다.

연구진은 연속된 접두 구간, 즉 토큰의 부분열에 부여된 가치를 분석했고, 이 값이 로그 오즈 공간에서 더하는 갱신을 통해 베이즈 형식으로 분해될 수 있다고 밝혔습니다. TPPO는 이 구조를 누적 가치 매개변수화에 적용해 각 위치의 스칼라 출력을 더해 가치 로짓을 만들고, 마지막 결과의 감독 신호를 사용해 해당 출력을 학습합니다.

Qwen 3-4B-Base와 Qwen 3-8B-Base에서 TPPO는 PPO보다 종합 수학 추론 점수를 각각 7.0점과 8.4점 높였습니다. 논문은 분포 외 일반화에서도 개선을 보고했으며, 향상은 Qwen 3-4B, Qwen 2.5-Math-1.5B, Qwen 3.5-9B, 카운트다운 과제와 과학 코딩 과제까지 이어졌습니다. 추가 분석에서는 가치 변화 추적이 더 정확해지고 어드밴티지 추정의 신뢰성이 높아졌으며, 연구진은 코드를 GitHub에 공개했다고 밝혔습니다.

10월 12일 arXiv에 공개된 연구 논문은 검증 가능한 보상으로 언어 모델의 추론을 학습하는 방법인 Tracking-Value PPO(TPPO)를 소개했습니다. 연구진은 보상이 추론 끝에만 주어질 때 기존 PPO의 가치 예측기가 추론 과정에 따른 가치 변화를 추적하지 못하는 경우가 많다고 설명했습니다.

연구진은 연속된 접두 구간, 즉 토큰의 부분열에 부여된 가치를 분석했고, 이 값이 로그 오즈 공간에서 더하는 갱신을 통해 베이즈 형식으로 분해될 수 있다고 밝혔습니다. TPPO는 이 구조를 누적 가치 매개변수화에 적용해 각 위치의 스칼라 출력을 더해 가치 로짓을 만들고, 마지막 결과의 감독 신호를 사용해 해당 출력을 학습합니다.

Qwen 3-4B-Base와 Qwen 3-8B-Base에서 TPPO는 PPO보다 종합 수학 추론 점수를 각각 7.0점과 8.4점 높였습니다. 논문은 분포 외 일반화에서도 개선을 보고했으며, 향상은 Qwen 3-4B, Qwen 2.5-Math-1.5B, Qwen 3.5-9B, 카운트다운 과제와 과학 코딩 과제까지 이어졌습니다. 추가 분석에서는 가치 변화 추적이 더 정확해지고 어드밴티지 추정의 신뢰성이 높아졌으며, 연구진은 코드를 GitHub에 공개했다고 밝혔습니다.