연구진은 강화학습과 검증 가능한 보상을 이용해 장기 과제에서 언어 모델 에이전트를 훈련하는 비평가 없는 프레임워크 TreeOPSD를 공개했습니다. 논문은 10월 16일 arXiv에 게시됐고 10월 19일 Hugging Face Papers에 제출됐습니다. 연구진은 17억에서 300억 A3B 파라미터 규모의 모델을 사용해 Multi-Hop QA와 Deep Research 벤치마크에서 성능을 시험했습니다.

연구진은 훈련의 두 가지 문제를 짚었습니다. 최종 보상이 상호작용이 끝난 뒤에야 주어져 각 차례의 기여도를 배정하기 어렵고, 순차적 미니배치 업데이트는 현재 정책이 훈련 데이터를 만든 행동 정책에서 벗어나게 할 수 있다는 것입니다. 기존 방법은 학습된 비평가, 과정 주석 또는 더 강력한 외부 교사 모델로 더 촘촘한 피드백을 제공하지만, 추가 구성 요소나 주석이 필요합니다. 중요도 비율 클리핑은 정책 변화를 제한할 수 있지만, 논문에 따르면 순차 업데이트의 유한한 목표값을 정의하지는 않습니다.

TreeOPSD는 상호작용의 각 차례를 트리의 노드로 보고, 공통 접두부에서 가능한 후속 응답을 분기합니다. 이어 최종 보상을 재귀적으로 거슬러 전파해 차례별 기여도를 추정하고, 그 값을 제한된 교사 분포로 바꾼 뒤 학생 정책이 교사와의 순방향 KL 발산을 최소화하도록 훈련합니다. 연구진은 이 방식이 행동 정책에서 트리 정책 경사 방향을 복원하면서도 순차적 미니배치 전반의 업데이트를 유한한 목표값을 향해 제한한다고 밝혔습니다.

동일한 롤아웃 예산으로 비교했을 때 TreeOPSD는 Multi-Hop QA와 Deep Research 벤치마크에서 GRPO, GSPO, 고정 기여도 트리 정책 경사법보다 높은 성능을 보였습니다. Deep Research에서는 Qwen3-30B-A3B-Thinking-2507의 평균 정확도가 GRPO보다 4.97포인트 높았습니다. 논문은 특히 장기 과제에서 성능 향상이 두드러졌다고 밝혔습니다.

연구진은 강화학습과 검증 가능한 보상을 이용해 장기 과제에서 언어 모델 에이전트를 훈련하는 비평가 없는 프레임워크 TreeOPSD를 공개했습니다. 논문은 10월 16일 arXiv에 게시됐고 10월 19일 Hugging Face Papers에 제출됐습니다. 연구진은 17억에서 300억 A3B 파라미터 규모의 모델을 사용해 Multi-Hop QA와 Deep Research 벤치마크에서 성능을 시험했습니다.

연구진은 훈련의 두 가지 문제를 짚었습니다. 최종 보상이 상호작용이 끝난 뒤에야 주어져 각 차례의 기여도를 배정하기 어렵고, 순차적 미니배치 업데이트는 현재 정책이 훈련 데이터를 만든 행동 정책에서 벗어나게 할 수 있다는 것입니다. 기존 방법은 학습된 비평가, 과정 주석 또는 더 강력한 외부 교사 모델로 더 촘촘한 피드백을 제공하지만, 추가 구성 요소나 주석이 필요합니다. 중요도 비율 클리핑은 정책 변화를 제한할 수 있지만, 논문에 따르면 순차 업데이트의 유한한 목표값을 정의하지는 않습니다.

TreeOPSD는 상호작용의 각 차례를 트리의 노드로 보고, 공통 접두부에서 가능한 후속 응답을 분기합니다. 이어 최종 보상을 재귀적으로 거슬러 전파해 차례별 기여도를 추정하고, 그 값을 제한된 교사 분포로 바꾼 뒤 학생 정책이 교사와의 순방향 KL 발산을 최소화하도록 훈련합니다. 연구진은 이 방식이 행동 정책에서 트리 정책 경사 방향을 복원하면서도 순차적 미니배치 전반의 업데이트를 유한한 목표값을 향해 제한한다고 밝혔습니다.

동일한 롤아웃 예산으로 비교했을 때 TreeOPSD는 Multi-Hop QA와 Deep Research 벤치마크에서 GRPO, GSPO, 고정 기여도 트리 정책 경사법보다 높은 성능을 보였습니다. Deep Research에서는 Qwen3-30B-A3B-Thinking-2507의 평균 정확도가 GRPO보다 4.97포인트 높았습니다. 논문은 특히 장기 과제에서 성능 향상이 두드러졌다고 밝혔습니다.