南カリフォルニア大学の研究者は、拡散型言語モデル向けの較正不要な量子化フレームワーク「SoloQ」を発表しました。論文は10月5日に公開され、10月12日にHugging Faceへ提出されました。拡散型言語モデルは双方向の拡散過程でトークンを生成しますが、系列全体を繰り返しノイズ除去するため、計算負荷の高い順方向処理が必要です。ブロック拡散モデルでは、メモリを多く使うKVキャッシュも用いられます。従来の学習後量子化手法は較正データに依存しますが、活性化の分布はマスキング状態やノイズ除去の段階ごとに変化します。

SoloQは、重みと活性化を、周辺分布が予測可能な正規化・回転済みの基底に写像し、較正データなしで量子化できるようにします。構造化されたK-RPBH回転と軽量な再スケーリング補正を組み合わせ、回転後の分布に合わせたコードブックと、ハードウェア標準のNVFP4を利用します。ブロック拡散モデルでは、処理中のブロックに影響を与えずに永続状態を圧縮するため、確定時にKVキャッシュも量子化します。

研究者は、系列全体を処理するLLaDAとDream、ブロック拡散型のFast-dLLM v2とNemotron-Labs-Diffusionの計4モデルでSoloQを検証しました。4ビット量子化後も精度を維持し、知識や推論を多く要するベンチマークで、較正を使う既存手法を上回りました。NVFP4を使った場合、ピークメモリを最大2.61倍削減し、処理全体の推論速度を最大2.24倍にしました。論文の著者は、Donghyun Lee、Arkapravo Ghosh、Varun Manjunath、Bumjoon Kyle Rhee、Hyunho Kook、Shiting Xiao、Youngeun Kim、Priyadarshini Pandaです。

南カリフォルニア大学の研究者は、拡散型言語モデル向けの較正不要な量子化フレームワーク「SoloQ」を発表しました。論文は10月5日に公開され、10月12日にHugging Faceへ提出されました。拡散型言語モデルは双方向の拡散過程でトークンを生成しますが、系列全体を繰り返しノイズ除去するため、計算負荷の高い順方向処理が必要です。ブロック拡散モデルでは、メモリを多く使うKVキャッシュも用いられます。従来の学習後量子化手法は較正データに依存しますが、活性化の分布はマスキング状態やノイズ除去の段階ごとに変化します。

SoloQは、重みと活性化を、周辺分布が予測可能な正規化・回転済みの基底に写像し、較正データなしで量子化できるようにします。構造化されたK-RPBH回転と軽量な再スケーリング補正を組み合わせ、回転後の分布に合わせたコードブックと、ハードウェア標準のNVFP4を利用します。ブロック拡散モデルでは、処理中のブロックに影響を与えずに永続状態を圧縮するため、確定時にKVキャッシュも量子化します。

研究者は、系列全体を処理するLLaDAとDream、ブロック拡散型のFast-dLLM v2とNemotron-Labs-Diffusionの計4モデルでSoloQを検証しました。4ビット量子化後も精度を維持し、知識や推論を多く要するベンチマークで、較正を使う既存手法を上回りました。NVFP4を使った場合、ピークメモリを最大2.61倍削減し、処理全体の推論速度を最大2.24倍にしました。論文の著者は、Donghyun Lee、Arkapravo Ghosh、Varun Manjunath、Bumjoon Kyle Rhee、Hyunho Kook、Shiting Xiao、Youngeun Kim、Priyadarshini Pandaです。