OPDの不一致許容度を測る研究
- •arXiv論文が、オンポリシー蒸留で学習時と推論時の不一致にどこまで耐えられるかを測定
- •7BモデルではBF16比で200倍超の不一致でも品質を維持、2種類の強化学習法は12倍と60倍で破綻
- •FP8でKVキャッシュの収容トークン数が少なくとも1.93倍に増え、非同期ロールアウトで同品質に1.62倍早く到達
Cong Yu氏らの研究チームは11月8日、オンポリシー蒸留（OPD）が学習時と推論時の不一致にどこまで耐えられるかを調べたarXiv論文を公開しました。OPDでは、固定された教師モデルの指導を受けながら、生徒モデルが自ら生成した回答で学習します。量子化推論や非同期ロールアウトによって、回答生成を担うエンジンと学習中のモデルに差が生じると、強化学習（RL）が不安定になるおそれがあります。研究チームは生徒と教師の3組で量子化を測定し、そのうち1組では重みの古さと注入したノイズも検証しました。
論文によると、OPDは大きな不一致があっても学習品質を保てますが、モデルごとに異なる上限「不一致予算」を超えると性能が低下します。7Bの生徒モデルでは、標準的なBF16エンジンの不一致の200倍を超えても品質を維持しましたが、その約2倍の水準では破綻しました。同じエンジンを使った2種類の強化学習法は、それぞれ約12倍と60倍で破綻しました。許容できる不一致の大きさはモデルによって異なり、低精度化に敏感な層もあります。
重みのノイズは、後続の出力を条件づける生成済みテキスト列である「プレフィックス」の到達先を変えることがあり、トークン単位の補正では修正できない誤りにつながると研究チームは報告しました。チームは、候補となるロールアウト設定を調整済みの予算と照合する軽量な事前チェックを提案しています。全候補について学習を実行せずに、1基のGPUで数分以内に判定できるといいます。このチェックは量子化モデルと全精度モデルのトークン確率を比較し、教師モデルも学習も必要としません。
モデルごとに調整したFP8設定では学習品質を保ちつつ、KVキャッシュにBF16の少なくとも1.93倍のトークンを格納できました。FP8と非同期ロールアウトを組み合わせると、同期BF16学習と同じ品質に1.62倍早く到達しました。研究チームの試験では、不一致の上限を下回る場合、ベンチマーク精度は通常の学習から1.4ポイント以内に収まりました。一方、学習が進むにつれて上限が厳しくなることがあり、ある設定はステップ100では合格しましたが、ステップ200では不合格でした。1.5Bと7Bの生徒モデルでも上限は異なりました。論文の試験対象は数学のプロンプトであり、コードやツール使用のプロンプトにこのチェックを適用するには、そのタスクで再実行する必要があります。