Huawei研究者、MACaQ量子化手法を発表

Huawei Computing Systems Labの研究者が、言語モデルと画像拡散モデルの精度を保ちながら推論コストを抑える、MXFP4 W4A4の学習後量子化手法MACaQを発表しました。MACaQは線形層を一つずつ処理し、活性値にはチャネル単位のスケーリングとブロック・アダマール変換をオンラインで適用します。逆変換は重みに組み込むため、層同士の依存を避け、メモリーに一度に保持する層を一つに抑えたストリーミング処理ができます。

四捨五入にとどまらず量子化値を調整するため、MACaQはヘッセ行列を考慮した座標降下法「Flip-Refinement」を使います。これは個々のFP4コードを、表現可能な隣接値へ移す手順です。vLLM上でQwen3-32Bを処理した場合、活性値のオンライン変換による処理全体の追加時間は、MXFP4のみの場合と比べて2.3％でした。MACaQはDuQuant++とMR-GPTQよりパープレキシティが低く、Llama-3-8Bでは両手法の最良値に達しながら、量子化にかかる時間を11分の1にしました。

研究者らは、アーキテクチャに特化した変更を加えずに画像拡散モデルにもMACaQを適用しました。1,220億パラメーターのモデルをGPUメモリー32.5GBで64分で量子化しています。Huawei-CSLのチームメンバー、フィリップ・ビック(Philippe Bich)氏は、Apache 2.0ライセンスで量子化ツールをオープンソース化する意向を示しました。プロジェクトのコードはGitHubで公開されています。

Huawei Computing Systems Labの研究者が、言語モデルと画像拡散モデルの精度を保ちながら推論コストを抑える、MXFP4 W4A4の学習後量子化手法MACaQを発表しました。MACaQは線形層を一つずつ処理し、活性値にはチャネル単位のスケーリングとブロック・アダマール変換をオンラインで適用します。逆変換は重みに組み込むため、層同士の依存を避け、メモリーに一度に保持する層を一つに抑えたストリーミング処理ができます。

四捨五入にとどまらず量子化値を調整するため、MACaQはヘッセ行列を考慮した座標降下法「Flip-Refinement」を使います。これは個々のFP4コードを、表現可能な隣接値へ移す手順です。vLLM上でQwen3-32Bを処理した場合、活性値のオンライン変換による処理全体の追加時間は、MXFP4のみの場合と比べて2.3％でした。MACaQはDuQuant++とMR-GPTQよりパープレキシティが低く、Llama-3-8Bでは両手法の最良値に達しながら、量子化にかかる時間を11分の1にしました。

研究者らは、アーキテクチャに特化した変更を加えずに画像拡散モデルにもMACaQを適用しました。1,220億パラメーターのモデルをGPUメモリー32.5GBで64分で量子化しています。Huawei-CSLのチームメンバー、フィリップ・ビック(Philippe Bich)氏は、Apache 2.0ライセンスで量子化ツールをオープンソース化する意向を示しました。プロジェクトのコードはGitHubで公開されています。