연구진이 교사 모델의 비평을 활용해 학생 모델의 풀이 오류를 고치는 언어 모델 학습법 CriticOPD를 발표했습니다. 「비평 유도 온폴리시 증류를 통한 신뢰할 수 있는 감독 신호 복원」 논문은 10월 14일 Hugging Face에 공개됐고, 카이샹 자오(Kaixiang Zhao)와 공동 저자들이 10월 15일 제출했습니다.

온폴리시 증류는 학생 모델이 자체 생성한 풀이를 학습 자료로 삼고, 교사 모델이 각 토큰에 지침을 제공하는 방식입니다. 기존 방법은 교사 모델이 어떤 부분 풀이에서든 정답을 만들어낼 수 있다고 가정하지만, 연구진은 학생의 풀이에 오류가 있으면 교사가 오류를 알아차리고도 잘못된 풀이 경로를 이어갈 수 있다고 밝혔습니다. 연구진은 학생의 부분 풀이에서 교사가 정답을 복원하는 능력을 ‘회복 가능성’이라고 불렀습니다.

CriticOPD에서는 교사 모델이 틀린 풀이를 비평하고, 학생 모델이 그 피드백을 참고해 나머지 풀이 단계를 다시 씁니다. 교사 모델은 비평이 보이는 상태에서 수정된 풀이의 후속 부분을 평가하고, 학생 모델은 비평을 보지 않은 채 수정된 풀이로 학습합니다. 논문은 점수 산정 단계에서 비평이 ‘특권 정보’로 작용한다고 설명했습니다.

두 개의 Qwen3 학생 모델과 6개 수학 추론 벤치마크를 시험한 결과, 표준 온폴리시 증류와 비교해 평균 정확도가 Qwen3-1.7B에서 4.57%포인트, Qwen3-0.6B에서 4.06%포인트 높아졌습니다. 연구진은 경시대회 문제에서 가장 큰 향상을 보고했습니다.

연구진이 교사 모델의 비평을 활용해 학생 모델의 풀이 오류를 고치는 언어 모델 학습법 CriticOPD를 발표했습니다. 「비평 유도 온폴리시 증류를 통한 신뢰할 수 있는 감독 신호 복원」 논문은 10월 14일 Hugging Face에 공개됐고, 카이샹 자오(Kaixiang Zhao)와 공동 저자들이 10월 15일 제출했습니다.

온폴리시 증류는 학생 모델이 자체 생성한 풀이를 학습 자료로 삼고, 교사 모델이 각 토큰에 지침을 제공하는 방식입니다. 기존 방법은 교사 모델이 어떤 부분 풀이에서든 정답을 만들어낼 수 있다고 가정하지만, 연구진은 학생의 풀이에 오류가 있으면 교사가 오류를 알아차리고도 잘못된 풀이 경로를 이어갈 수 있다고 밝혔습니다. 연구진은 학생의 부분 풀이에서 교사가 정답을 복원하는 능력을 ‘회복 가능성’이라고 불렀습니다.

CriticOPD에서는 교사 모델이 틀린 풀이를 비평하고, 학생 모델이 그 피드백을 참고해 나머지 풀이 단계를 다시 씁니다. 교사 모델은 비평이 보이는 상태에서 수정된 풀이의 후속 부분을 평가하고, 학생 모델은 비평을 보지 않은 채 수정된 풀이로 학습합니다. 논문은 점수 산정 단계에서 비평이 ‘특권 정보’로 작용한다고 설명했습니다.

두 개의 Qwen3 학생 모델과 6개 수학 추론 벤치마크를 시험한 결과, 표준 온폴리시 증류와 비교해 평균 정확도가 Qwen3-1.7B에서 4.57%포인트, Qwen3-0.6B에서 4.06%포인트 높아졌습니다. 연구진은 경시대회 문제에서 가장 큰 향상을 보고했습니다.