서던캘리포니아대학교(USC) 연구진이 확산 언어 모델을 보정 데이터 없이 양자화하는 프레임워크 SoloQ를 발표했습니다. 관련 논문은 10월 5일 공개됐고, 10월 12일 Hugging Face에 제출됐습니다. 확산 언어 모델은 양방향 확산 방식으로 토큰을 생성하지만, 전체 시퀀스를 반복해서 노이즈 제거하려면 연산량이 큰 순방향 계산이 필요합니다. 블록 확산 모델은 메모리를 많이 쓰는 KV 캐시도 사용합니다. 기존 학습 후 양자화 방식은 보정 데이터에 의존하지만, 마스킹 상태와 노이즈 제거 단계에 따라 활성값 분포가 달라집니다.

SoloQ는 가중치와 활성값을 예측 가능한 주변 분포를 가진 정규화된 회전 기저로 옮겨 보정 데이터 없이 양자화합니다. 이 방식은 구조화된 K-RPBH 회전과 가벼운 재조정 보정을 결합합니다. 회전 후 분포에 맞춘 코드북과 하드웨어 고유 형식인 NVFP4를 적용할 수 있습니다. 블록 확산 모델에는 커밋 시점 KV 캐시 양자화도 적용해, 현재 노이즈 제거 중인 블록에 영향을 주지 않으면서 저장 상태를 압축합니다.

연구진은 전체 시퀀스 모델 LLaDA와 Dream, 블록 확산 모델 Fast-dLLM v2와 Nemotron-Labs-Diffusion 등 네 모델에서 SoloQ를 시험했습니다. 4비트 양자화에서도 정확도를 유지했고, 지식과 추론을 많이 요구하는 벤치마크에서 보정 기반 기준 방식보다 높은 성능을 보였습니다. NVFP4를 사용했을 때 최대 메모리 사용량은 2.61배 줄었고, 전체 추론 속도는 최대 2.24배 빨라졌습니다. 논문 저자는 이동현, 아르카프라보 고시, 바룬 마누나트, 범준 카일 리, 국현호, 샤팅 샤오, 김영은, 프리야다르시니 판다입니다.

서던캘리포니아대학교(USC) 연구진이 확산 언어 모델을 보정 데이터 없이 양자화하는 프레임워크 SoloQ를 발표했습니다. 관련 논문은 10월 5일 공개됐고, 10월 12일 Hugging Face에 제출됐습니다. 확산 언어 모델은 양방향 확산 방식으로 토큰을 생성하지만, 전체 시퀀스를 반복해서 노이즈 제거하려면 연산량이 큰 순방향 계산이 필요합니다. 블록 확산 모델은 메모리를 많이 쓰는 KV 캐시도 사용합니다. 기존 학습 후 양자화 방식은 보정 데이터에 의존하지만, 마스킹 상태와 노이즈 제거 단계에 따라 활성값 분포가 달라집니다.

SoloQ는 가중치와 활성값을 예측 가능한 주변 분포를 가진 정규화된 회전 기저로 옮겨 보정 데이터 없이 양자화합니다. 이 방식은 구조화된 K-RPBH 회전과 가벼운 재조정 보정을 결합합니다. 회전 후 분포에 맞춘 코드북과 하드웨어 고유 형식인 NVFP4를 적용할 수 있습니다. 블록 확산 모델에는 커밋 시점 KV 캐시 양자화도 적용해, 현재 노이즈 제거 중인 블록에 영향을 주지 않으면서 저장 상태를 압축합니다.

연구진은 전체 시퀀스 모델 LLaDA와 Dream, 블록 확산 모델 Fast-dLLM v2와 Nemotron-Labs-Diffusion 등 네 모델에서 SoloQ를 시험했습니다. 4비트 양자화에서도 정확도를 유지했고, 지식과 추론을 많이 요구하는 벤치마크에서 보정 기반 기준 방식보다 높은 성능을 보였습니다. NVFP4를 사용했을 때 최대 메모리 사용량은 2.61배 줄었고, 전체 추론 속도는 최대 2.24배 빨라졌습니다. 논문 저자는 이동현, 아르카프라보 고시, 바룬 마누나트, 범준 카일 리, 국현호, 샤팅 샤오, 김영은, 프리야다르시니 판다입니다.