30억 개의 파라미터를 가진 특화 모델이 특정 기업 도메인 벤치마크에서 기존 거대 상용 API의 성능을 넘어서며 운영 비용을 약 52배 낮추는 성과를 거뒀다. Dharma-AI는 2026년 4월 DharmaOCR 벤치마크와 관련 논문을 발표하며, 모델의 학습 이력이 실제 배포 작업과 일치하는 정도인 분포 정렬(distributional alignment)이 파라미터 규모보다 성능 결정에 더 중요한 요소임을 증명했다. 실제로 해당 3B 모델은 DharmaOCR-Benchmark에서 0.911의 종합 점수를 기록해 Claude Opus 4.6(0.833), GPT-5.4(0.750), GPT-4o(0.635) 등 기존 상용 모델들을 모두 앞질렀다.

품질 향상과 더불어 해당 3B 모델은 프로덕션 안정성 측면에서도 뛰어난 결과를 보였다. 모델이 반복적이고 사용할 수 없는 출력을 내놓는 텍스트 퇴화율(text-degeneration rate)은 0.20%에 그쳐 범용 기준 모델들보다 현저히 낮았다. 연구진은 특화가 이진법적인 상태가 아닌 계층적 과정임을 강조한다. 30억 및 70억 파라미터 규모에서 각각 진행된 실험 결과, 이미 범용 OCR 작업에 특화된 모델들은 동일한 파인튜닝을 거친 후에도 범용 모델보다 지속적으로 우수한 성능을 나타냈다.

이번 결과는 기업 워크로드에서 거대 Frontier 모델이 항상 가장 효과적이라는 기존의 조달 관행에 의문을 제기한다. 연구는 모델의 학습 궤적이 실제 배포 영역에 가까울수록 파라미터 규모는 부차적인 변수로 전락한다고 분석한다. 향후 평가 전략은 단순히 범용 벤치마크 결과나 규모에 의존하기보다 분포 정렬을 명시적으로 테스트하는 방향으로 전환되어야 한다. 특화의 계층 구조는 현재 OCR 작업에서 검증되었으나, 보고서는 실제 프로덕션 환경을 대변하는 작업에서의 평가를 통해 도메인 특화 성능과 범용 벤치마크 간의 괴리가 다른 분야에서도 존재하는지 확인할 것을 권고한다.

30억 개의 파라미터를 가진 특화 모델이 특정 기업 도메인 벤치마크에서 기존 거대 상용 API의 성능을 넘어서며 운영 비용을 약 52배 낮추는 성과를 거뒀다. Dharma-AI는 2026년 4월 DharmaOCR 벤치마크와 관련 논문을 발표하며, 모델의 학습 이력이 실제 배포 작업과 일치하는 정도인 분포 정렬(distributional alignment)이 파라미터 규모보다 성능 결정에 더 중요한 요소임을 증명했다. 실제로 해당 3B 모델은 DharmaOCR-Benchmark에서 0.911의 종합 점수를 기록해 Claude Opus 4.6(0.833), GPT-5.4(0.750), GPT-4o(0.635) 등 기존 상용 모델들을 모두 앞질렀다.

품질 향상과 더불어 해당 3B 모델은 프로덕션 안정성 측면에서도 뛰어난 결과를 보였다. 모델이 반복적이고 사용할 수 없는 출력을 내놓는 텍스트 퇴화율(text-degeneration rate)은 0.20%에 그쳐 범용 기준 모델들보다 현저히 낮았다. 연구진은 특화가 이진법적인 상태가 아닌 계층적 과정임을 강조한다. 30억 및 70억 파라미터 규모에서 각각 진행된 실험 결과, 이미 범용 OCR 작업에 특화된 모델들은 동일한 파인튜닝을 거친 후에도 범용 모델보다 지속적으로 우수한 성능을 나타냈다.

이번 결과는 기업 워크로드에서 거대 Frontier 모델이 항상 가장 효과적이라는 기존의 조달 관행에 의문을 제기한다. 연구는 모델의 학습 궤적이 실제 배포 영역에 가까울수록 파라미터 규모는 부차적인 변수로 전락한다고 분석한다. 향후 평가 전략은 단순히 범용 벤치마크 결과나 규모에 의존하기보다 분포 정렬을 명시적으로 테스트하는 방향으로 전환되어야 한다. 특화의 계층 구조는 현재 OCR 작업에서 검증되었으나, 보고서는 실제 프로덕션 환경을 대변하는 작업에서의 평가를 통해 도메인 특화 성능과 범용 벤치마크 간의 괴리가 다른 분야에서도 존재하는지 확인할 것을 권고한다.