miniTE報告、NVFP4強化学習の安定性を検証

miniTEの技術報告書は10月25日に公開され、NVFP4による強化学習（RL）が学習後半に不安定化する理由を検証し、アルゴリズム上の対応策TRIAGEとminiTEの実装改善を評価しました。8×B300で逆伝播にBF16を使ったminiTEは、学習更新全体の速度でBF16比約1.33～1.37倍に達しました。固定出力を使った別の推論処理試験では、処理量がBF16比約1.64倍でした。報告書によると、これらは別々の構成で測定されており、BF16水準の学習や強化学習全体の高速化を示すものではありません。

Qwen3-4BとQwen3-30B-A3Bを使い、DAPOの数学タスクでGRPOを実行すると、報酬は当初上昇した後、学習成績が悪化しました。TRIAGEで分析した学習過程では、4Bモデルは約300ステップ後に不安定化し、30Bモデルでは約700ステップ後に不一致が急速に拡大しました。著者らは、量子化、チェックポイント変換、活性値のスケーリング、KVキャッシュの精度、学習時と推論時の実行方法の違いが原因となる可能性を挙げています。

密なモデルで学習時とサンプリング時の対数確率の平均絶対差を測ると、初期値はBF16/BF16で0.0110、NVFP4/NVFP4で0.1142、NVFP4/BF16で0.1376、BF16/NVFP4で0.1690でした。対応するMoEモデルの値は順に0.0172、0.0668、0.0621、0.0747でした。活性値の精度を別途比較した試験では、W4A16の差は密なモデルで0.0139、MoEで0.0166でした。MXFP8の活性値を使うW4A8では0.0363と0.0227、NVFP4の活性値を使うW4A4では0.0903と0.0445でした。ある構成ではKVキャッシュをFP8からBF16に変更すると、差が0.0721から0.0583に縮小しました。

報告書によると、TRIAGEは不一致と更新方向に応じてリスクの高い区間の更新を調整し、安定性とタスク性能の改善を目指します。miniTEは量子化方針、線形層、計算バックエンドを分離し、精度設定、整合性チェック、性能分析の機能を備えています。Transformer Engineのトークン単位NVFP4処理経路に関する共同開発では、連続したデータ配置、デバイス側メタデータ、最大絶対値の再利用、グループ化行列乗算、処理の融合によって、準備と呼び出しのオーバーヘッドを減らしました。

著者らは限界も報告しています。オンライン強化学習では、重み変換と同期がサンプリング速度の利得を相殺し、実用的なminiTEチェックポイントは5タスク平均でBF16を下回りました。演算子を一致させて不一致を減らしても、BF16水準の学習が保証されるわけではなく、誤差への許容度、更新規則、最終的な学習成果にはさらなる研究が必要だとしています。

miniTEの技術報告書は10月25日に公開され、NVFP4による強化学習（RL）が学習後半に不安定化する理由を検証し、アルゴリズム上の対応策TRIAGEとminiTEの実装改善を評価しました。8×B300で逆伝播にBF16を使ったminiTEは、学習更新全体の速度でBF16比約1.33～1.37倍に達しました。固定出力を使った別の推論処理試験では、処理量がBF16比約1.64倍でした。報告書によると、これらは別々の構成で測定されており、BF16水準の学習や強化学習全体の高速化を示すものではありません。

Qwen3-4BとQwen3-30B-A3Bを使い、DAPOの数学タスクでGRPOを実行すると、報酬は当初上昇した後、学習成績が悪化しました。TRIAGEで分析した学習過程では、4Bモデルは約300ステップ後に不安定化し、30Bモデルでは約700ステップ後に不一致が急速に拡大しました。著者らは、量子化、チェックポイント変換、活性値のスケーリング、KVキャッシュの精度、学習時と推論時の実行方法の違いが原因となる可能性を挙げています。

密なモデルで学習時とサンプリング時の対数確率の平均絶対差を測ると、初期値はBF16/BF16で0.0110、NVFP4/NVFP4で0.1142、NVFP4/BF16で0.1376、BF16/NVFP4で0.1690でした。対応するMoEモデルの値は順に0.0172、0.0668、0.0621、0.0747でした。活性値の精度を別途比較した試験では、W4A16の差は密なモデルで0.0139、MoEで0.0166でした。MXFP8の活性値を使うW4A8では0.0363と0.0227、NVFP4の活性値を使うW4A4では0.0903と0.0445でした。ある構成ではKVキャッシュをFP8からBF16に変更すると、差が0.0721から0.0583に縮小しました。

報告書によると、TRIAGEは不一致と更新方向に応じてリスクの高い区間の更新を調整し、安定性とタスク性能の改善を目指します。miniTEは量子化方針、線形層、計算バックエンドを分離し、精度設定、整合性チェック、性能分析の機能を備えています。Transformer Engineのトークン単位NVFP4処理経路に関する共同開発では、連続したデータ配置、デバイス側メタデータ、最大絶対値の再利用、グループ化行列乗算、処理の融合によって、準備と呼び出しのオーバーヘッドを減らしました。

著者らは限界も報告しています。オンライン強化学習では、重み変換と同期がサンプリング速度の利得を相殺し、実用的なminiTEチェックポイントは5タスク平均でBF16を下回りました。演算子を一致させて不一致を減らしても、BF16水準の学習が保証されるわけではなく、誤差への許容度、更新規則、最終的な学習成果にはさらなる研究が必要だとしています。