Baseten, 강화학습에서 비평가 계산 효율 검증

Baseten 연구진은 언어 모델 강화학습에서 학습된 가치 함수인 비평가(답변의 예상 보상을 추정하는 모델)에 드는 학습·평가 계산량이 가치가 있는지 소규모 실험으로 살폈습니다. 그룹 기반 보상에 비평가를 더해도 두 단일 턴 과제에서 이점 분산을 최대 40~60% 줄이는 데 그쳤습니다. 연구진은 비평가가 계산 효율을 높이려면 추가 계산량에 비례하는 수준보다 더 큰 분산 감소가 필요하다고 결론 내렸습니다.

근접 정책 최적화(PPO)는 각 토큰에서 답변이 받을 점수를 학습된 비평가로 추정합니다. 그룹 상대 정책 최적화(GRPO)는 별도의 신경망을 없애고, 각 답변의 보상을 같은 프롬프트에 대한 다른 답변들의 평균과 비교합니다. 요약에 따르면 GRPO는 DeepSeek-R1-Zero가 2025년 1월 공개된 뒤 추론 강화학습의 기본 방식이 됐지만, 일부 ICLR 제출 논문은 비평가를 다시 사용했습니다. 연구진이 검토한 논문에서는 같은 학습 단계 수에서 PPO 비평가가 GRPO와 비기거나 낮은 결과를 보였습니다. ALFWorld·수학 과제에서 GAVE는 PPO 63.9 / 36.8, GRPO 64.1 / 44.4를 보고했고, 에이전트 수학 과제의 PACT는 59.7 대 64.1, 수학 과제에서 3개 시드로 평가한 GenAC은 50.85 대 49.96을 기록했습니다. 다른 연구의 성능 향상은 턴 단위 기여도 배정이나 생성을 일찍 끝내는 데 비평가를 활용한 경우였습니다.

연구진은 답변의 토큰 접두부로 예측할 수 있는 보상 변동과, 그룹 안의 다른 답변만으로 프롬프트 평균 보상을 추정할 때 생기는 잡음을 구분했습니다. 접두부만 보는 비평가는 이 기준선 잡음을 줄일 수 없습니다. 접두부 가치 추정에는 DAPO 수학 데이터셋과 내부 레지스터 추적 데이터셋의 Qwen3-4B를 사용했습니다. 64개 프롬프트에 대해 답변 8개씩, 각 답변의 8개 위치에서 새 이어쓰기 16개를 표집했습니다. 예측 가능한 분산 비율은 0.31~0.54였으며, 그룹 크기 G = 8일 때 최대 감소 폭은 약 27~47%로 추정됐습니다. 이는 기준선 상쇄량 약 40~60%에 해당합니다. 이론상 실제 그룹 기준선까지 보는 비평가는 해당 잡음도 상쇄할 수 있습니다.

계산량 비교에서 비평가의 설명 분산, 즉 이점 분산에서 제거한 비율이 추가 계산량 c/(1+c)를 넘으면 비평가를 쓸 가치가 있다고 봤습니다. Qwen3-4B의 오프라인 추론 체육관 롤아웃에서 마지막 36개 층 중 3개를 쓰는 가치 헤드는 계산량을 0.083 늘리고 이점 분산 0.248을 설명해, 효율 배수 1.23배로 추정됐습니다. 마지막 36개 층 중 6개를 쓰면 추가 계산량은 0.17, 설명 분산은 0.286, 효율은 1.20배였습니다. 배치마다 한 번 학습한 별도 비평가는 계산량을 0.75 늘리고 설명 분산 0.354를 기록해 효율이 0.88배였습니다. 연구진이 배치마다 두 번 학습한 비평가는 계산량 1.83, 설명 분산 0.354, 효율 0.55배였습니다. 연구진은 이 값이 분산에 근거한 추정치라고 밝혔습니다. 이를 정책 기울기 효율로 해석하려면 기울기 분산이 이점 분산에 비례해 감소한다고 가정해야 합니다. 예측력이 덜 필요한 특수 과제, 예를 들어 턴 사이 기여도 배정이나 롤아웃 조기 종료에는 비평가가 적합할 수 있다고 덧붙였습니다.

Baseten 연구진은 언어 모델 강화학습에서 학습된 가치 함수인 비평가(답변의 예상 보상을 추정하는 모델)에 드는 학습·평가 계산량이 가치가 있는지 소규모 실험으로 살폈습니다. 그룹 기반 보상에 비평가를 더해도 두 단일 턴 과제에서 이점 분산을 최대 40~60% 줄이는 데 그쳤습니다. 연구진은 비평가가 계산 효율을 높이려면 추가 계산량에 비례하는 수준보다 더 큰 분산 감소가 필요하다고 결론 내렸습니다.

근접 정책 최적화(PPO)는 각 토큰에서 답변이 받을 점수를 학습된 비평가로 추정합니다. 그룹 상대 정책 최적화(GRPO)는 별도의 신경망을 없애고, 각 답변의 보상을 같은 프롬프트에 대한 다른 답변들의 평균과 비교합니다. 요약에 따르면 GRPO는 DeepSeek-R1-Zero가 2025년 1월 공개된 뒤 추론 강화학습의 기본 방식이 됐지만, 일부 ICLR 제출 논문은 비평가를 다시 사용했습니다. 연구진이 검토한 논문에서는 같은 학습 단계 수에서 PPO 비평가가 GRPO와 비기거나 낮은 결과를 보였습니다. ALFWorld·수학 과제에서 GAVE는 PPO 63.9 / 36.8, GRPO 64.1 / 44.4를 보고했고, 에이전트 수학 과제의 PACT는 59.7 대 64.1, 수학 과제에서 3개 시드로 평가한 GenAC은 50.85 대 49.96을 기록했습니다. 다른 연구의 성능 향상은 턴 단위 기여도 배정이나 생성을 일찍 끝내는 데 비평가를 활용한 경우였습니다.

연구진은 답변의 토큰 접두부로 예측할 수 있는 보상 변동과, 그룹 안의 다른 답변만으로 프롬프트 평균 보상을 추정할 때 생기는 잡음을 구분했습니다. 접두부만 보는 비평가는 이 기준선 잡음을 줄일 수 없습니다. 접두부 가치 추정에는 DAPO 수학 데이터셋과 내부 레지스터 추적 데이터셋의 Qwen3-4B를 사용했습니다. 64개 프롬프트에 대해 답변 8개씩, 각 답변의 8개 위치에서 새 이어쓰기 16개를 표집했습니다. 예측 가능한 분산 비율은 0.31~0.54였으며, 그룹 크기 G = 8일 때 최대 감소 폭은 약 27~47%로 추정됐습니다. 이는 기준선 상쇄량 약 40~60%에 해당합니다. 이론상 실제 그룹 기준선까지 보는 비평가는 해당 잡음도 상쇄할 수 있습니다.

계산량 비교에서 비평가의 설명 분산, 즉 이점 분산에서 제거한 비율이 추가 계산량 c/(1+c)를 넘으면 비평가를 쓸 가치가 있다고 봤습니다. Qwen3-4B의 오프라인 추론 체육관 롤아웃에서 마지막 36개 층 중 3개를 쓰는 가치 헤드는 계산량을 0.083 늘리고 이점 분산 0.248을 설명해, 효율 배수 1.23배로 추정됐습니다. 마지막 36개 층 중 6개를 쓰면 추가 계산량은 0.17, 설명 분산은 0.286, 효율은 1.20배였습니다. 배치마다 한 번 학습한 별도 비평가는 계산량을 0.75 늘리고 설명 분산 0.354를 기록해 효율이 0.88배였습니다. 연구진이 배치마다 두 번 학습한 비평가는 계산량 1.83, 설명 분산 0.354, 효율 0.55배였습니다. 연구진은 이 값이 분산에 근거한 추정치라고 밝혔습니다. 이를 정책 기울기 효율로 해석하려면 기울기 분산이 이점 분산에 비례해 감소한다고 가정해야 합니다. 예측력이 덜 필요한 특수 과제, 예를 들어 턴 사이 기여도 배정이나 롤아웃 조기 종료에는 비평가가 적합할 수 있다고 덧붙였습니다.