LLMのツール利用に対する量子化の影響を分析
- •ツール利用ベンチマークにおいて、Qwen3-0.6BはLlama-3.2-1Bよりも量子化に対する耐性が高いことが判明した。
- •Q4_K_M量子化時、Llama-3.2-1Bは複雑なタスクにおいて、単純なタスク時と比べてSVR（スキーマ妥当性率）が5倍大きく低下した。
- •制約付きデコーディングや推論バックエンドの選択は、量子化に伴うモデルの信頼性低下を改善しなかった。
量子化はモデルの重み精度を低減してメモリを節約する手法だが、そのツール利用への影響はモデルサイズだけでなく、モデルファミリーによって大きく異なる。開発者のアレクセイ(Alexey)は、BFCL（Berkeley Function-Calling Leaderboard）v4を基盤としたベンチマーク「QuantCall」を用い、Qwen3-0.6B、Qwen3-1.7B、Llama-3.2-1Bの性能を評価した。検証環境には4096 MiBのVRAMを搭載したRTX 3050 Laptopを使用し、3つのシード値、温度0の貪欲法によるデコーディングでテストを行った。評価指標にはSVR、ツール選択精度（TSA）、引数正解率（AC）、関数呼び出し信頼性（FCR）を用いた。
結果として、Qwen3-0.6BはQ4_K_Mレベルまで量子化してもSVRに有意な低下は見られず、安定性を維持した。一方、Llama-3.2-1BはQ8_0を含む全ての量子化レベルでスキーマ妥当性に脆弱性を示し、JSONスキーマ検証に失敗する数値を文字列化して出力する傾向が性能を阻害した。特に並列ツール呼び出しやToolACEカタログなどの複雑なタスクでは、Llama-3.2-1BのQ4_K_MにおけるSVR低下幅は、単純なシングルコールタスク時と比較して約5倍に拡大した。
今回の評価では2つの否定的な結果も得られた。GBNF文法を用いた制約付きデコーディングは、Qwen3においてSVRやACを改善できず、処理時間で6〜86%の性能低下を引き起こした。また、llama-cppやtransformersなどの推論バックエンドの選択は結果に独立した影響を与えず、性能劣化がエンジン由来ではなく量子化自体に起因することが確認された。この調査結果は、Q4からQ6の量子化レベルを選択する際、一般的な指針ではなく各モデルファミリー固有のベンチマークを参照し、特にエージェントの故障モードを見落とさないよう複雑な実タスクでの性能評価を優先すべきであることを示唆している。