DistriVoting, 대형 추론 모델의 답변 정확도 혁신
HuggingFace
2026년 3월 11일 (수)
- •DistriVoting 프레임워크는 분포 정보를 활용해 대형 추론 모델의 답변 선택 품질을 개선한다.
- •가우시안 혼합 모델을 적용해 신뢰할 수 없는 응답을 필터링하고 정답 가능성이 높은 답변을 선별한다.
- •SelfStepConf를 통해 단계별 신뢰도를 추적하고 추론 과정을 동적으로 조정해 신뢰성을 확보한다.
대형 추론 모델은 정확도를 높이기 위해 하나의 질문에 대해 여러 후보 답변을 생성하는 테스트 시간 확장 방식을 주로 사용한다. 하지만 단순히 가장 많이 나온 답변이나 점수가 높은 답변을 고르는 기존 방식은 모델 내부 신호와 실제 정답 간의 불일치로 인해 한계가 명확했다. 이에 따라 신뢰도 점수의 통계적 분포를 분석해 최적의 답변을 도출하는 DistriVoting 기술이 새롭게 등장했다.
DistriVoting은 생성된 응답 집합을 두 개의 서로 다른 통계적 모집단이 혼합된 구조로 분석하는 것이 특징이다. 가우시안 혼합 모델을 활용해 전체 신뢰도 점수를 정답 확률이 높은 '양성'과 오답 확률이 높은 '음성' 성분으로 수학적으로 분해한다. 특히 두 성분이 겹치는 모호한 구간의 응답을 필터링하여 제거함으로써, 자동 투표 방식에서 발생하는 노이즈를 대폭 줄이고 결과의 순도를 높인다.
더욱 정밀한 결과를 위해 개발된 SelfStepConf는 최종 출력 결과가 아닌 개별 추론 단계의 내부 신호에 집중한다. 추론의 각 단계별로 신뢰도를 실시간 모니터링하며 정답 경로와 오답 경로 간의 통계적 간극을 넓히도록 추론 과정을 최적화한다. 실제로 이 기법을 16개 모델과 5개 주요 벤치마크에 적용한 결과, 기존의 신뢰도 교정 방식보다 월등히 향상된 성능을 보여주며 기술적 우위를 입증했다.