Baseten, 코딩 모델 라우터 공개 미리보기

Baseten은 2026년 11월 4일 Baseten Grid에서 Baseten Router의 공개 미리보기를 시작했습니다. 이 시스템은 코딩 작업마다 개방형 또는 폐쇄형 모델을 선택합니다. DeepSWE, SWE Atlas QnA, Terminal-Bench를 포함한 시험에서 Opus 5.5와 성공률 차이를 0.8%포인트 이내로 유지하면서 비용을 72% 줄였다고 밝혔습니다. Baseten은 평가한 상용 라우터 가운데 같은 비용으로 무작위 라우팅을 통계적으로 유의미하게 앞선 유일한 시스템이라고 설명했습니다.

라우터는 현재 Opus 5.5와 GLM 5.3 Flash 중에서 선택합니다. Baseten은 GLM 5.3 Flash가 관련 작업에서 Opus 5.5보다 약 80% 저렴하면서 코딩 성능이 뛰어나 선택했다고 밝혔습니다. 사용자는 라우팅 임계값을 조정해 비용과 성능 사이의 파레토 경계(한쪽을 개선하면 다른 쪽이 나빠지는 선택지)를 고를 수 있습니다. 선택 점수는 각 모델이 작업에 성공할 가능성을 추정한 뒤, 미국 달러로 예측한 비용에 비례하는 불이익을 차감합니다.

Baseten은 Fireworks, Together AI, Applied Compute의 상용 라우터와 시스템을 비교했습니다. 결과가 무작위 라우터 90%가 포함되는 범위보다 높았으며 OpenRouter, FireRouter, Together, Applied Compute보다 앞섰다고도 밝혔습니다. 회사는 이를 Opus에 가까운 정확도를 약 4분의 1 비용으로 달성한 결과라고 표현했습니다. Baseten은 실제 운영 환경의 코딩 작업에 맞춰 라우터를 조정하도록 설계 파트너들과 협력 중이며, 이후 결과를 공개할 계획입니다. Opendoor의 엔지니어링 책임자 친탄 파리크(Chintan Parikh)는 자동 라우팅이 직원이 직접 모델을 고르지 않아도 적합한 모델을 쓰게 하고, 최상위 모델 가격이 필요하지 않은 작업의 비용을 낮춘다고 말했습니다.

훈련 과정에서 Baseten은 공개 코딩 데이터셋을 대상으로 Opus 5.5와 GLM 5.3 Flash를 높은 추론 강도로 실행했습니다. 데이터셋은 버그 수정, 기능 구현, 코드베이스 질문, 터미널 작업을 다뤘으며, 회사는 검증기 결과와 모델 비용을 기록했습니다. 별도로 보류한 시험은 DeepSWE 1.1을 통한 장기 코딩, SWE Atlas QnA를 통한 코드베이스 질문, Terminal-Bench 2.1을 통한 터미널 작업을 포함했습니다. 이 벤치마크들은 Artificial Analysis의 Coding Agent Index v1.4와 OpenRouter의 첫 라우터 벤치마크에도 포함됐습니다. Baseten은 채점기 오류와 작동하지 않는 작업 환경을 수정하고, 부정행위를 막는 장치를 추가했으며, 시험 세트에 저장소가 포함된 훈련 작업은 제외했다고 밝혔습니다.

반복 실행에 따른 변동을 다루기 위해 Baseten은 신호 대 잡음비(작업 간 차이와 반복 실행 변동을 비교하는 지표)를 측정했습니다. 모델당 한 번 실행했을 때 전체 시험의 신호 대 잡음비는 0.27이었지만, 작업마다 Opus를 4회, GLM을 8회 실행해 평균을 내자 1.51로 상승했습니다. 공개된 시험 성공률은 이 반복 실행 결과의 평균입니다. 라우팅 성능이 우연을 넘어서는지 확인하기 위해 GLM에 배정하는 작업 비율별로 무작위 라우터 10,000개를 모의 실험했습니다. 비교 범위는 무작위 라우터 결과의 가운데 90%, 즉 5백분위수에서 95백분위수까지였으며, 그 범위를 넘는 결과를 통계적으로 유의미한 것으로 간주했습니다.

초기 실험에서 Baseten은 작업 지침을 임베딩하고 성공과 비용을 예측하는 모델을 훈련했습니다. 비용만 예측해도 무작위 라우팅 대비 초기 성능 개선의 대부분을 설명했지만, 예측 비용과 성공 가능성의 이점을 결합한 방식이 교차 검증에서 가장 좋은 결과를 냈습니다. 임베딩으로 벤치마크 정체를 예측하는 선형 프로브는 균형 정확도 89%를 기록해 다른 벤치마크나 실제 운영 환경에는 통하지 않을 수 있는 잠재적 지름길을 드러냈습니다. 이후 Baseten은 벤치마크 단서를 제거하고 유사 작업 묶음을 조정했으며, Base Labs의 elephant-1 및 mammoth-1 의사결정 모델을 이용해 작업 범위, 필요한 분야 지식, 모호성 같은 구조화된 특성을 추출했습니다.

별도로 팀은 GLM의 중간 활성값(입력과 출력 사이에서 나타나는 모델 내부 신호)이 비용 예측에 도움이 되는지 시험했습니다. 응답 단계 수를 추정하는 예측 헤드는 검증 데이터에서 스피어먼 상관계수 약 0.6을 기록했습니다. 신호는 모델 깊이가 커질수록 강해지다가 더 깊은 층에서 정체한 뒤 약해졌습니다. Baseten은 라우팅 지연을 줄이면서 성능을 유지하기 위해 양자화 기법과 더 작은 Qwen 모델을 GLM 내부 층의 대리 모델로 사용했습니다. 최종 라우터는 구조화된 작업 특성과 내부 활성값을 결합해 성공 가능성과 예상 비용을 예측합니다. 제공된 기사 내용은 결과 부분이 시작되는 지점에서 끝나므로, 최종 벤치마크 수치는 제시되지 않았습니다.

Baseten은 2026년 11월 4일 Baseten Grid에서 Baseten Router의 공개 미리보기를 시작했습니다. 이 시스템은 코딩 작업마다 개방형 또는 폐쇄형 모델을 선택합니다. DeepSWE, SWE Atlas QnA, Terminal-Bench를 포함한 시험에서 Opus 5.5와 성공률 차이를 0.8%포인트 이내로 유지하면서 비용을 72% 줄였다고 밝혔습니다. Baseten은 평가한 상용 라우터 가운데 같은 비용으로 무작위 라우팅을 통계적으로 유의미하게 앞선 유일한 시스템이라고 설명했습니다.

라우터는 현재 Opus 5.5와 GLM 5.3 Flash 중에서 선택합니다. Baseten은 GLM 5.3 Flash가 관련 작업에서 Opus 5.5보다 약 80% 저렴하면서 코딩 성능이 뛰어나 선택했다고 밝혔습니다. 사용자는 라우팅 임계값을 조정해 비용과 성능 사이의 파레토 경계(한쪽을 개선하면 다른 쪽이 나빠지는 선택지)를 고를 수 있습니다. 선택 점수는 각 모델이 작업에 성공할 가능성을 추정한 뒤, 미국 달러로 예측한 비용에 비례하는 불이익을 차감합니다.

Baseten은 Fireworks, Together AI, Applied Compute의 상용 라우터와 시스템을 비교했습니다. 결과가 무작위 라우터 90%가 포함되는 범위보다 높았으며 OpenRouter, FireRouter, Together, Applied Compute보다 앞섰다고도 밝혔습니다. 회사는 이를 Opus에 가까운 정확도를 약 4분의 1 비용으로 달성한 결과라고 표현했습니다. Baseten은 실제 운영 환경의 코딩 작업에 맞춰 라우터를 조정하도록 설계 파트너들과 협력 중이며, 이후 결과를 공개할 계획입니다. Opendoor의 엔지니어링 책임자 친탄 파리크(Chintan Parikh)는 자동 라우팅이 직원이 직접 모델을 고르지 않아도 적합한 모델을 쓰게 하고, 최상위 모델 가격이 필요하지 않은 작업의 비용을 낮춘다고 말했습니다.

훈련 과정에서 Baseten은 공개 코딩 데이터셋을 대상으로 Opus 5.5와 GLM 5.3 Flash를 높은 추론 강도로 실행했습니다. 데이터셋은 버그 수정, 기능 구현, 코드베이스 질문, 터미널 작업을 다뤘으며, 회사는 검증기 결과와 모델 비용을 기록했습니다. 별도로 보류한 시험은 DeepSWE 1.1을 통한 장기 코딩, SWE Atlas QnA를 통한 코드베이스 질문, Terminal-Bench 2.1을 통한 터미널 작업을 포함했습니다. 이 벤치마크들은 Artificial Analysis의 Coding Agent Index v1.4와 OpenRouter의 첫 라우터 벤치마크에도 포함됐습니다. Baseten은 채점기 오류와 작동하지 않는 작업 환경을 수정하고, 부정행위를 막는 장치를 추가했으며, 시험 세트에 저장소가 포함된 훈련 작업은 제외했다고 밝혔습니다.

반복 실행에 따른 변동을 다루기 위해 Baseten은 신호 대 잡음비(작업 간 차이와 반복 실행 변동을 비교하는 지표)를 측정했습니다. 모델당 한 번 실행했을 때 전체 시험의 신호 대 잡음비는 0.27이었지만, 작업마다 Opus를 4회, GLM을 8회 실행해 평균을 내자 1.51로 상승했습니다. 공개된 시험 성공률은 이 반복 실행 결과의 평균입니다. 라우팅 성능이 우연을 넘어서는지 확인하기 위해 GLM에 배정하는 작업 비율별로 무작위 라우터 10,000개를 모의 실험했습니다. 비교 범위는 무작위 라우터 결과의 가운데 90%, 즉 5백분위수에서 95백분위수까지였으며, 그 범위를 넘는 결과를 통계적으로 유의미한 것으로 간주했습니다.

초기 실험에서 Baseten은 작업 지침을 임베딩하고 성공과 비용을 예측하는 모델을 훈련했습니다. 비용만 예측해도 무작위 라우팅 대비 초기 성능 개선의 대부분을 설명했지만, 예측 비용과 성공 가능성의 이점을 결합한 방식이 교차 검증에서 가장 좋은 결과를 냈습니다. 임베딩으로 벤치마크 정체를 예측하는 선형 프로브는 균형 정확도 89%를 기록해 다른 벤치마크나 실제 운영 환경에는 통하지 않을 수 있는 잠재적 지름길을 드러냈습니다. 이후 Baseten은 벤치마크 단서를 제거하고 유사 작업 묶음을 조정했으며, Base Labs의 elephant-1 및 mammoth-1 의사결정 모델을 이용해 작업 범위, 필요한 분야 지식, 모호성 같은 구조화된 특성을 추출했습니다.

별도로 팀은 GLM의 중간 활성값(입력과 출력 사이에서 나타나는 모델 내부 신호)이 비용 예측에 도움이 되는지 시험했습니다. 응답 단계 수를 추정하는 예측 헤드는 검증 데이터에서 스피어먼 상관계수 약 0.6을 기록했습니다. 신호는 모델 깊이가 커질수록 강해지다가 더 깊은 층에서 정체한 뒤 약해졌습니다. Baseten은 라우팅 지연을 줄이면서 성능을 유지하기 위해 양자화 기법과 더 작은 Qwen 모델을 GLM 내부 층의 대리 모델로 사용했습니다. 최종 라우터는 구조화된 작업 특성과 내부 활성값을 결합해 성공 가능성과 예상 비용을 예측합니다. 제공된 기사 내용은 결과 부분이 시작되는 지점에서 끝나므로, 최종 벤치마크 수치는 제시되지 않았습니다.