Notion, 모델 라우터 Auto 업그레이드… 성능 90% 유지하며 비용 90% 절감 주장
- •Notion은 실제 지식노동 업무를 모사한 수천 건의 평가에서 업그레이드한 모델 라우터 Auto가 최상위 모델 성능의 약 90%를 제공한다고 밝혔다
- •비용은 최상위 모델 대비 약 90% 낮아, 사용자 크레딧을 일상 업무에서 최대 10배 더 오래 쓸 수 있다고 설명했다
- •평가에는 Gymmy라는 시뮬레이션 환경과 Elo 순위에 맞춰 보정한 LLM 심사관이 활용됐다
Notion은 고객의 AI 요청을 여러 언어 모델로 연결하는 모델 라우터 Auto의 평가 및 업그레이드 과정을 블로그에 공개했다. Notion은 단일 LLM 심사관은 실제 업무의 복잡성을 안정적으로 반영하지 못한다고 보고, 실제 지식노동 업무를 중심으로 평가를 설계했다고 밝혔다.
Notion은 AI 사용 사례를 CRM 연락처 및 후속 관리, 재고·배송 기록 추적, 고객 지원 문의 해결 등의 작업 군집으로 묶었다. 이 가운데 상위 20개 군집을 선정하고 각 군집에서 수백 건의 실제 업무를 무작위로 추출해 평가 데이터셋을 구성했다.
작업 실행을 위해 Notion은 Gymmy라는 시뮬레이션 환경을 구축했다. Gymmy는 격리된 샌드박스에서 Notion의 애플리케이션 코드, 데이터베이스, 검색 서비스를 실행하며, 각 샌드박스에는 워크스페이스 데이터의 저장본을 불러와 모든 모델이 같은 상태에서 실제 도구를 사용하도록 했다. 작업은 GPT-6 Astra, Opus 5.5, GPT-6.1 Sol, Auto로 재현됐다.
단일 LLM에 점수를 맡기면 자사 모델을 선호하거나 점수가 일관되지 않는 문제가 나타나, Notion은 먼저 두 결과를 짝지어 비교하는 방식을 썼다. 여러 최상위 모델로 구성된 앙상블이 맞춤 기준에 따라 더 나은 결과를 고르고, 그 다수결 결과로 체스 선수 평가와 비슷한 방식의 Elo 점수를 산출했다. 이후 단일 LLM 심사관을 이 Elo 순위를 재현하도록 보정해 수천 건의 결과를 독립적으로 채점할 수 있게 했다. 짝 비교와 개별 채점의 결과는 80% 이상 일치했으며, 심사 점수는 Notion AI 결과에 대한 고객의 좋아요·싫어요 피드백과도 대체로 맞아떨어졌다.
이 방법으로 Notion은 Auto가 GPT-6 Astra나 Claude Opus 5.5 같은 최상위 모델 성능의 약 90%를 약 90% 낮은 비용으로 제공한다고 보고했다. 간단한 업무(이메일 다듬기, 문서 번역)는 최상위 모델 50크레딧 대비 5크레딧, 중간 난이도 업무(업무 보고서 작성, 1시간 회의 녹취)는 85 대비 10크레딧, 복잡한 업무(데이터베이스 생성, CRM 연락처 관리)는 150 대비 25크레딧이 들었다.
Notion은 앞으로도 새 모델을 실제 Notion 업무에서 계속 테스트하며 모델 라우터를 개선하겠다고 밝혔다. 또한 AI 회의록 기능도 Auto를 사용하며, 12월 1일부터 월간 Standard 크레딧 할당량을 소모하기 시작하고, 1시간 회의는 약 10 Standard 크레딧이 든다고 덧붙였다.