Huawei 연구진, MACaQ 양자화 방식 공개

Huawei 컴퓨팅 시스템 연구소 연구진이 정확도를 유지하면서 언어 모델과 확산 모델의 추론 비용을 낮추기 위한 MXFP4 W4A4 후처리 양자화 방식 MACaQ를 소개했습니다. MACaQ는 선형 계층을 하나씩 독립적으로 처리합니다. 활성값에는 채널별 스케일링과 블록 하다마드 변환을 실시간 적용하고, 역변환은 가중치에 반영합니다. 이 방식은 계층 간 의존성을 없애고 한 번에 한 계층만 메모리에 두는 스트리밍 구현을 가능하게 합니다.

반올림보다 정밀하게 양자화 값을 조정하기 위해 MACaQ는 헤시안 정보를 반영한 좌표 하강 절차인 Flip-Refinement를 사용합니다. 이 절차는 개별 FP4 코드를 인접한 표현 가능 값으로 이동합니다. vLLM에서 Qwen3-32B를 처리할 때 실시간 활성값 변환이 추가하는 전체 처리 오버헤드는 순수 MXFP4 대비 2.3%였습니다. MACaQ는 DuQuant++와 MR-GPTQ보다 낮은 퍼플렉시티를 달성했고, Llama-3-8B에서는 두 방식의 최고 퍼플렉시티와 같은 결과를 내면서 양자화 시간을 11배 줄였습니다.

연구진은 구조별 별도 수정 없이 이미지 확산 모델에도 MACaQ를 적용했습니다. 또 122B 매개변수 모델을 GPU 메모리 32.5GB를 사용해 64분 만에 양자화했습니다. Huawei-CSL 팀원 필리프 비히(Philippe Bich)는 팀이 Apache 2.0 라이선스로 양자화 도구를 공개할 예정이라고 밝혔으며, 프로젝트 코드는 GitHub에서 이용할 수 있습니다.

Huawei 컴퓨팅 시스템 연구소 연구진이 정확도를 유지하면서 언어 모델과 확산 모델의 추론 비용을 낮추기 위한 MXFP4 W4A4 후처리 양자화 방식 MACaQ를 소개했습니다. MACaQ는 선형 계층을 하나씩 독립적으로 처리합니다. 활성값에는 채널별 스케일링과 블록 하다마드 변환을 실시간 적용하고, 역변환은 가중치에 반영합니다. 이 방식은 계층 간 의존성을 없애고 한 번에 한 계층만 메모리에 두는 스트리밍 구현을 가능하게 합니다.

반올림보다 정밀하게 양자화 값을 조정하기 위해 MACaQ는 헤시안 정보를 반영한 좌표 하강 절차인 Flip-Refinement를 사용합니다. 이 절차는 개별 FP4 코드를 인접한 표현 가능 값으로 이동합니다. vLLM에서 Qwen3-32B를 처리할 때 실시간 활성값 변환이 추가하는 전체 처리 오버헤드는 순수 MXFP4 대비 2.3%였습니다. MACaQ는 DuQuant++와 MR-GPTQ보다 낮은 퍼플렉시티를 달성했고, Llama-3-8B에서는 두 방식의 최고 퍼플렉시티와 같은 결과를 내면서 양자화 시간을 11배 줄였습니다.

연구진은 구조별 별도 수정 없이 이미지 확산 모델에도 MACaQ를 적용했습니다. 또 122B 매개변수 모델을 GPU 메모리 32.5GB를 사용해 64분 만에 양자화했습니다. Huawei-CSL 팀원 필리프 비히(Philippe Bich)는 팀이 Apache 2.0 라이선스로 양자화 도구를 공개할 예정이라고 밝혔으며, 프로젝트 코드는 GitHub에서 이용할 수 있습니다.