miniTE 보고서, NVFP4 강화학습 안정성 검증

10월 25일 공개된 miniTE 기술 보고서는 학습 후반에 NVFP4 강화학습(RL)이 불안정해지는 원인을 분석하고, 알고리즘 대응책 TRIAGE와 miniTE의 엔지니어링 개선을 시험했습니다. 8×B300에서 역방향 계산에 BF16을 사용한 miniTE는 전체 학습 업데이트 속도에서 BF16 대비 약 1.33–1.37배를 기록했습니다. 별도의 고정 출력 추론 시험에서는 처리량이 BF16 대비 약 1.64배였습니다. 보고서는 두 측정이 서로 다른 설정에서 나온 결과라며, BF16 수준의 학습 성능이나 강화학습 전체 과정의 속도 향상을 입증하지는 않는다고 밝혔습니다.

Qwen3-4B와 Qwen3-30B-A3B를 사용해 DAPO 수학 과제에서 GRPO를 실행했을 때 보상은 처음에 상승한 뒤 학습 성능이 악화됐습니다. TRIAGE로 분석한 학습 경로에서 4B 모델은 약 300단계 뒤 불안정해졌고, 30B 모델의 불일치는 약 700단계 뒤 빠르게 커지기 시작했습니다. 저자들은 양자화, 체크포인트 변환, 활성값 스케일 조정, KV 캐시 정밀도, 학습과 추론 실행 방식의 차이를 가능한 원인으로 꼽았습니다.

밀집형 모델의 학습 초기 평균 절대 학습·샘플링 로그 확률 차이는 BF16/BF16 설정에서 0.0110, NVFP4/NVFP4에서 0.1142, NVFP4/BF16에서 0.1376, BF16/NVFP4에서 0.1690이었습니다. 이에 대응하는 전문가 혼합형(MoE) 모델의 값은 각각 0.0172, 0.0668, 0.0621, 0.0747이었습니다. 별도의 활성값 정밀도 비교에서 W4A16의 차이는 밀집형 모델 0.0139, MoE 0.0166이었습니다. MXFP8 활성값을 쓴 W4A8은 각각 0.0363과 0.0227, NVFP4 활성값을 쓴 W4A4는 0.0903과 0.0445를 기록했습니다. 한 설정에서 KV 캐시를 FP8에서 BF16으로 바꾸자 차이가 0.0721에서 0.0583으로 줄었습니다.

보고서에 따르면 TRIAGE는 불일치와 업데이트 방향을 바탕으로 위험도가 높은 구간의 업데이트를 조정해 안정성과 과제 성능을 높이는 것을 목표로 합니다. miniTE는 양자화 정책, 선형 계층, 연산 백엔드를 분리하고 정밀도 설정, 정렬 검사, 성능 분석 기능을 제공합니다. Transformer Engine의 토큰별 NVFP4 경로를 공동 개선하는 과정에서는 연속 메모리 배치, 장치 측 메타데이터, 최대 절대값(amax) 재사용, 그룹 행렬 곱셈(GEMM), 연산 융합을 활용해 준비와 실행 요청에 드는 오버헤드를 줄였습니다.

저자들은 온라인 강화학습 실행에서 가중치 변환과 동기화가 샘플링 속도 이득을 상쇄했고, 실제 miniTE 체크포인트의 5개 과제 평균 성능이 BF16보다 낮았다고 밝혔습니다. 연산자 일치와 불일치 감소만으로 BF16 수준의 학습이 보장되지는 않는다며, 오차 허용 범위와 업데이트 규칙, 최종 학습 결과를 추가로 연구해야 한다고 설명했습니다.

10월 25일 공개된 miniTE 기술 보고서는 학습 후반에 NVFP4 강화학습(RL)이 불안정해지는 원인을 분석하고, 알고리즘 대응책 TRIAGE와 miniTE의 엔지니어링 개선을 시험했습니다. 8×B300에서 역방향 계산에 BF16을 사용한 miniTE는 전체 학습 업데이트 속도에서 BF16 대비 약 1.33–1.37배를 기록했습니다. 별도의 고정 출력 추론 시험에서는 처리량이 BF16 대비 약 1.64배였습니다. 보고서는 두 측정이 서로 다른 설정에서 나온 결과라며, BF16 수준의 학습 성능이나 강화학습 전체 과정의 속도 향상을 입증하지는 않는다고 밝혔습니다.

Qwen3-4B와 Qwen3-30B-A3B를 사용해 DAPO 수학 과제에서 GRPO를 실행했을 때 보상은 처음에 상승한 뒤 학습 성능이 악화됐습니다. TRIAGE로 분석한 학습 경로에서 4B 모델은 약 300단계 뒤 불안정해졌고, 30B 모델의 불일치는 약 700단계 뒤 빠르게 커지기 시작했습니다. 저자들은 양자화, 체크포인트 변환, 활성값 스케일 조정, KV 캐시 정밀도, 학습과 추론 실행 방식의 차이를 가능한 원인으로 꼽았습니다.

밀집형 모델의 학습 초기 평균 절대 학습·샘플링 로그 확률 차이는 BF16/BF16 설정에서 0.0110, NVFP4/NVFP4에서 0.1142, NVFP4/BF16에서 0.1376, BF16/NVFP4에서 0.1690이었습니다. 이에 대응하는 전문가 혼합형(MoE) 모델의 값은 각각 0.0172, 0.0668, 0.0621, 0.0747이었습니다. 별도의 활성값 정밀도 비교에서 W4A16의 차이는 밀집형 모델 0.0139, MoE 0.0166이었습니다. MXFP8 활성값을 쓴 W4A8은 각각 0.0363과 0.0227, NVFP4 활성값을 쓴 W4A4는 0.0903과 0.0445를 기록했습니다. 한 설정에서 KV 캐시를 FP8에서 BF16으로 바꾸자 차이가 0.0721에서 0.0583으로 줄었습니다.

보고서에 따르면 TRIAGE는 불일치와 업데이트 방향을 바탕으로 위험도가 높은 구간의 업데이트를 조정해 안정성과 과제 성능을 높이는 것을 목표로 합니다. miniTE는 양자화 정책, 선형 계층, 연산 백엔드를 분리하고 정밀도 설정, 정렬 검사, 성능 분석 기능을 제공합니다. Transformer Engine의 토큰별 NVFP4 경로를 공동 개선하는 과정에서는 연속 메모리 배치, 장치 측 메타데이터, 최대 절대값(amax) 재사용, 그룹 행렬 곱셈(GEMM), 연산 융합을 활용해 준비와 실행 요청에 드는 오버헤드를 줄였습니다.

저자들은 온라인 강화학습 실행에서 가중치 변환과 동기화가 샘플링 속도 이득을 상쇄했고, 실제 miniTE 체크포인트의 5개 과제 평균 성능이 BF16보다 낮았다고 밝혔습니다. 연산자 일치와 불일치 감소만으로 BF16 수준의 학습이 보장되지는 않는다며, 오차 허용 범위와 업데이트 규칙, 최종 학습 결과를 추가로 연구해야 한다고 설명했습니다.