연구진, 온폴리시 증류의 불일치 허용 범위 측정
- •arXiv 논문, 온폴리시 증류가 학습·추론 불일치를 얼마나 견디는지 측정
- •7B 학생 모델은 BF16 기준 200배 초과 불일치에도 품질 유지, 두 강화학습 방식은 12배·60배에서 실패
- •FP8 캐시는 토큰을 최소 1.93배 저장하고 비동기 롤아웃은 같은 품질에 1.62배 빨리 도달
콩 위(Cong Yu)가 이끈 연구진은 11월 8일 온폴리시 증류(OPD)가 학습과 추론 사이의 불일치를 얼마나 견딜 수 있는지 조사한 arXiv 논문을 발표했습니다. OPD는 고정된 교사 모델의 지도를 받으며 학생 언어 모델이 스스로 생성한 응답으로 학습하는 방식입니다. 양자화된 추론이나 비동기 롤아웃을 사용하면 롤아웃 엔진이 학습 중인 모델과 달라져 강화학습(RL)이 불안정해질 수 있습니다. 연구진은 학생·교사 모델 조합 3개에서 양자화를 측정했고, 한 조합에서는 가중치의 오래됨과 주입한 잡음도 시험했습니다.
논문에 따르면 OPD는 상당한 불일치에도 학습 품질을 유지했지만, 모델별 한계인 ‘불일치 예산’을 넘어서면 성능이 떨어졌습니다. 7B 학생 모델은 표준 BF16 엔진보다 200배가 넘는 불일치에서도 품질을 유지했으며, 그 수준의 약 2배에 이르자 실패했습니다. 같은 엔진 조건에서 두 강화학습 방식은 각각 약 12배와 60배의 불일치에서 작동을 멈췄습니다. 허용 범위는 모델마다 달랐고, 일부 층은 정밀도 저하에 더 민감했습니다.
연구진은 가중치 잡음이 모델이 도달하는 접두 문자열, 즉 뒤에 생성될 출력을 결정하는 텍스트 구간을 바꿔 토큰별 보정으로 해결할 수 없는 오류를 일으킬 수 있다고 밝혔습니다. 이에 후보 롤아웃 설정이 사전 보정된 예산 안에 드는지 한 개 GPU에서 몇 분 만에 확인하는 간단한 사전 검사를 제안했습니다. 이 검사는 양자화 모델과 완전 정밀도 모델의 토큰 확률을 비교하며, 교사 모델이나 학습 과정은 필요하지 않습니다.
모델별 FP8 설정은 학습 품질을 유지하면서 KV 캐시에 BF16보다 최소 1.93배 많은 토큰을 담았습니다. FP8과 비동기 롤아웃을 함께 적용하면 동기식 BF16 학습보다 같은 학습 품질에 1.62배 빨리 도달했습니다. 불일치 한계 이하에서는 벤치마크 정확도가 일반 학습보다 1.4포인트 이내로 유지됐습니다. 연구진은 학습 중 한계가 더 엄격해질 수 있다며 한 설정이 100단계에서는 통과했지만 200단계에서는 실패한 사례를 들었습니다. 한계는 1.5B와 7B 학생 모델 사이에서도 달랐습니다. 논문은 수학 프롬프트를 시험했으며, 코드나 도구 사용 프롬프트에 검사를 적용하려면 해당 작업에 맞춰 다시 실행해야 한다고 설명했습니다.