Gemma 4 Dense 모델, 토큰 제한 상향으로 성능 회복
- •Gemma 4 Dense 모델의 오류가 토큰 제한을 400에서 4096으로 상향하자 사라졌다.
- •작성자는 아키텍처 결함이라는 기존 주장을 철회하고 성능 저하의 원인이 추론 부족임을 밝혔다.
- •재실험 결과 MoE와 Dense 모델 모두 12번의 호출에서 100% 성공률을 기록했다.
알리 아파나(Ali Afana)는 커뮤니티 의견을 바탕으로 Gemma 4 모델의 성능을 재평가했다. 이전 실험에서는 아키텍처 차이로 인해 오류가 발생한 것으로 추정했으나, 실제로는 제한적인 토큰 설정이 원인이었다. 작성자는 아랍어 이커머스 챗봇 환경에서 26B MoE 및 31B Dense 모델을 테스트했으며, 기존 400 토큰 제한이 Dense 모델의 잘못된 거부 응답을 유발했음을 확인했다. 이번 재실험에서는 동일한 시스템 프레임과 0.3 온도 설정을 유지하되, 최대 토큰 제한을 4096으로 상향 조정했다.
토큰 예산 상향 후 12번의 실험적 호출 모두 성공했다. MoE와 Dense 모델은 과거 실패했던 6개 시나리오에서 정확하고 근거 있는 답변을 제공했다. 특히 이전에는 HTTP 500 오류나 거부 응답을 보였던 Dense 모델이 상품 가격 조회 및 스타일 추천 작업을 완벽히 수행했다. 이를 통해 두 모델 모두 다단계 추론을 효과적으로 처리할 수 있음이 입증됐으며, 다만 모델별로 추론 완료를 위한 적정 토큰 예산이 다를 뿐임이 확인됐다.
작성자는 Dense 모델이 근거 기반의 대화 작업에 부적합하다는 이전 결론을 공식 철회했다. 충분한 토큰이 제공될 경우 두 모델 사이의 신뢰성 격차는 사라진다. 이번 실험은 모델이 짧은 토큰 제한 내에서 추론을 멈추거나 거부하는 현상이 여러 독립적인 배포 환경에서도 동일하게 나타남을 시사한다. 작성자는 향후 온도 설정과 모델 성능의 상호작용, 그리고 Ollama와 관리형 Gemini API 환경 간의 교차 검증을 추가로 진행할 계획이다.