LLM 양자화가 툴 호출 성능에 미치는 영향 분석
- •Qwen3-0.6B가 툴 호출 벤치마크에서 Llama-3.2-1B보다 양자화에 대해 높은 회복탄력성을 보였다.
- •Llama-3.2-1B는 Q4_K_M 수준으로 양자화했을 때 복잡한 작업에서 SVR 낙폭이 5배 더 크게 나타났다.
- •제약 디코딩과 서빙 백엔드 선택은 양자화 과정에서의 모델 신뢰성 향상에 기여하지 못했다.
모델 가중치 정밀도를 줄여 메모리를 절약하는 양자화 기법이 툴 호출(Tool-Calling) 신뢰성에 미치는 영향은 모델의 크기보다는 아키텍처에 따라 달라진다. 알렉세이(Alexey) 개발자는 Berkeley Function-Calling Leaderboard(BFCL) v4를 기반으로 구축된 'QuantCall' 벤치마크를 통해 Qwen3-0.6B, Qwen3-1.7B, Llama-3.2-1B 모델을 평가했다. 테스트는 RTX 3050 노트북의 4096 MiB VRAM 환경에서 진행됐으며, 3개의 시드와 온도 0의 그리디 디코딩 방식을 사용했다. 주요 지표로는 스키마 유효성 비율(SVR), 툴 선택 정확도(TSA), 인자 정확성(AC), 함수 호출 신뢰성(FCR)을 측정했다.
분석 결과, Qwen3-0.6B는 Q4_K_M 수준까지 양자화해도 SVR 저하 없이 안정적인 성능을 유지했다. 다만 해당 수준에서 AC와 FCR은 다소 감소하는 경향을 보였다. 반면 Llama-3.2-1B는 Q8_0를 포함한 모든 양자화 단계에서 스키마 유효성 측면의 취약성을 드러냈다. 특히 JSON 스키마 검증을 통과하지 못하는 문자열 형태의 숫자를 출력하는 경향이 성능 저하를 가속화했다. 복잡한 병렬 툴 호출이나 ToolACE 카탈로그와 같은 작업 수행 시, Llama-3.2-1B의 Q4_K_M 기준 SVR 하락 폭은 단순 단일 호출 작업 대비 약 5배 더 크게 나타났다.
한편, 본 연구는 두 가지 부정적인 결과도 확인했다. GBNF 문법을 활용한 제약 디코딩은 Qwen3 모델의 SVR이나 AC를 개선하지 못했으며, 오히려 처리 시간이 6~86% 증가하는 성능 저하를 초래했다. 또한 llama-cpp와 transformers 등 서빙 백엔드 종류는 결과에 독립적인 영향을 주지 않는 것으로 밝혀져, 관측된 성능 저하가 엔진 자체의 문제가 아닌 양자화 기법에서 기인함이 확인됐다. 알렉세이는 Q4와 Q6 수준의 양자화 결정 시 일반적인 규칙에 의존하기보다 특정 모델 계열 벤치마크 결과를 참고해야 하며, 에이전트의 실패 모드를 방지하기 위해 어렵고 현실적인 작업 위주의 성능 평가가 우선되어야 한다고 제언했다.