Baseten、コーディング向けモデルルーターを公開プレビュー

Basetenは11月4日、コーディング作業ごとにオープンモデルまたはクローズドモデルを選ぶBaseten Routerを、Baseten Gridで公開プレビューとして発表しました。DeepSWE、SWE Atlas QnA、Terminal-Benchを使ったテストで、合格率はOpus 5.5との差が0.8ポイント以内となり、コストを72％削減しました。Basetenによると、評価した商用ルーターのうち、同じコストでランダム振り分けを統計的に有意な差で上回ったのは同社だけです。

現在、ルーターはOpus 5.5とGLM 5.3 Flashからモデルを選びます。Basetenは、関連する作業でOpus 5.5より約80％低コストでありながら、コーディング性能が高いとしてGLM 5.3 Flashを選びました。利用者は振り分けのしきい値を調整し、コストと性能のパレート前線（片方を改善するともう片方が悪化する境界）上で異なる点を選べます。選択スコアは、各モデルが作業に成功する見込みを推定し、予測コストに比例するペナルティを米ドル単位で差し引きます。

Basetenは、Fireworks、Together AI、Applied Computeの商用ルーターと比較しました。同社の結果は、ランダムなルーターの90％が入る範囲を上回り、OpenRouter、FireRouter、Together、Applied Computeより良かったと報告しています。同社は、Opusに近い精度を約4分の1のコストで実現したと説明しました。Basetenは設計パートナーと本番環境のコーディング作業に合わせた調整を進めており、その結果を後日共有する予定です。Opendoorのエンジニアリング責任者チンタン・パリクは、自動振り分けにより社員がモデルを選ばなくても適切なモデルを使え、最先端モデルの料金を払う必要のない作業の費用を抑えられると述べました。

学習では、BasetenはOpus 5.5とGLM 5.3 Flashを高い推論努力の設定で公開コーディングデータセットに適用しました。対象はバグ修正、機能実装、コードベースに関する質問、ターミナル作業で、検証器の結果とモデルのコストを記録しました。学習に使わないテストでは、DeepSWE 1.1による長期的なコーディング、SWE Atlas QnAによるコードベースの質問、Terminal-Bench 2.1によるターミナル作業を評価しました。これらのベンチマークはArtificial AnalysisのCoding Agent Index v1.4と、OpenRouterが最初に公開したRouter Benchmarkにも含まれています。Basetenは採点器の誤りや壊れたタスク環境を修正し、不正対策を加え、テストセットにリポジトリが含まれていた学習タスクを除外しました。

モデルを繰り返し実行した際のばらつきに対処するため、Basetenは信号対雑音比（タスク間の差と実行間のばらつきの比較）を測りました。モデルごとに1回ずつ実行した場合、テスト全体の比率は0.27でした。タスクごとにOpusを4回、GLMを8回実行して平均すると1.51に上がりました。報告されたテスト合格率は、これらの実行結果の平均です。振り分けが偶然を上回るか調べるため、GLMに割り当てるタスクの割合ごとにランダムなルーターを10,000個シミュレーションしました。比較範囲はランダムなルーターの中央90％、つまり5パーセンタイルから95パーセンタイルまでで、それを超える結果を統計的に有意としました。

初期実験では、Basetenはタスクの指示を埋め込み表現に変換し、成功とコストを予測するモデルを訓練しました。コストだけの予測でもランダム振り分けに対する初期の改善の大半を捉えましたが、予測コストと成功率の優位性を組み合わせた方式が交差検証で最良でした。埋め込み表現からベンチマークの種類を予測する線形プローブは、均衡正解率89％を記録しました。これは、別のベンチマークや本番環境では通用しない可能性がある近道を示しました。その後Basetenは、ベンチマークの手がかりを取り除く方法、類似タスクのまとまりを調整する方法、作業範囲、必要な専門知識、曖昧さなどの構造化属性を抽出する方法を、Base Labsのelephant-1とmammoth-1の判断モデルを使って検討しました。

チームは別途、GLMの中間活性（入力と出力の間にあるモデル内部の信号）がコスト予測に役立つかを検証しました。応答ステップ数を推定する予測ヘッドは、検証データでスピアマン相関約0.6を達成しました。この信号はモデルの深さとともに強まり、その後横ばいになって、さらに深い層では弱まりました。Basetenは性能を保ちながら振り分けの遅延を減らすため、量子化技術と小型のQwenモデルをGLM内部層の代理として使いました。最終的なルーターは、構造化されたタスク属性と内部活性を組み合わせ、成功率と予想コストを予測します。提供された記事本文は結果セクションの開始部分で終わっており、最終的なベンチマーク数値は示していません。

Basetenは11月4日、コーディング作業ごとにオープンモデルまたはクローズドモデルを選ぶBaseten Routerを、Baseten Gridで公開プレビューとして発表しました。DeepSWE、SWE Atlas QnA、Terminal-Benchを使ったテストで、合格率はOpus 5.5との差が0.8ポイント以内となり、コストを72％削減しました。Basetenによると、評価した商用ルーターのうち、同じコストでランダム振り分けを統計的に有意な差で上回ったのは同社だけです。

現在、ルーターはOpus 5.5とGLM 5.3 Flashからモデルを選びます。Basetenは、関連する作業でOpus 5.5より約80％低コストでありながら、コーディング性能が高いとしてGLM 5.3 Flashを選びました。利用者は振り分けのしきい値を調整し、コストと性能のパレート前線（片方を改善するともう片方が悪化する境界）上で異なる点を選べます。選択スコアは、各モデルが作業に成功する見込みを推定し、予測コストに比例するペナルティを米ドル単位で差し引きます。

Basetenは、Fireworks、Together AI、Applied Computeの商用ルーターと比較しました。同社の結果は、ランダムなルーターの90％が入る範囲を上回り、OpenRouter、FireRouter、Together、Applied Computeより良かったと報告しています。同社は、Opusに近い精度を約4分の1のコストで実現したと説明しました。Basetenは設計パートナーと本番環境のコーディング作業に合わせた調整を進めており、その結果を後日共有する予定です。Opendoorのエンジニアリング責任者チンタン・パリクは、自動振り分けにより社員がモデルを選ばなくても適切なモデルを使え、最先端モデルの料金を払う必要のない作業の費用を抑えられると述べました。

学習では、BasetenはOpus 5.5とGLM 5.3 Flashを高い推論努力の設定で公開コーディングデータセットに適用しました。対象はバグ修正、機能実装、コードベースに関する質問、ターミナル作業で、検証器の結果とモデルのコストを記録しました。学習に使わないテストでは、DeepSWE 1.1による長期的なコーディング、SWE Atlas QnAによるコードベースの質問、Terminal-Bench 2.1によるターミナル作業を評価しました。これらのベンチマークはArtificial AnalysisのCoding Agent Index v1.4と、OpenRouterが最初に公開したRouter Benchmarkにも含まれています。Basetenは採点器の誤りや壊れたタスク環境を修正し、不正対策を加え、テストセットにリポジトリが含まれていた学習タスクを除外しました。

モデルを繰り返し実行した際のばらつきに対処するため、Basetenは信号対雑音比（タスク間の差と実行間のばらつきの比較）を測りました。モデルごとに1回ずつ実行した場合、テスト全体の比率は0.27でした。タスクごとにOpusを4回、GLMを8回実行して平均すると1.51に上がりました。報告されたテスト合格率は、これらの実行結果の平均です。振り分けが偶然を上回るか調べるため、GLMに割り当てるタスクの割合ごとにランダムなルーターを10,000個シミュレーションしました。比較範囲はランダムなルーターの中央90％、つまり5パーセンタイルから95パーセンタイルまでで、それを超える結果を統計的に有意としました。

初期実験では、Basetenはタスクの指示を埋め込み表現に変換し、成功とコストを予測するモデルを訓練しました。コストだけの予測でもランダム振り分けに対する初期の改善の大半を捉えましたが、予測コストと成功率の優位性を組み合わせた方式が交差検証で最良でした。埋め込み表現からベンチマークの種類を予測する線形プローブは、均衡正解率89％を記録しました。これは、別のベンチマークや本番環境では通用しない可能性がある近道を示しました。その後Basetenは、ベンチマークの手がかりを取り除く方法、類似タスクのまとまりを調整する方法、作業範囲、必要な専門知識、曖昧さなどの構造化属性を抽出する方法を、Base Labsのelephant-1とmammoth-1の判断モデルを使って検討しました。

チームは別途、GLMの中間活性（入力と出力の間にあるモデル内部の信号）がコスト予測に役立つかを検証しました。応答ステップ数を推定する予測ヘッドは、検証データでスピアマン相関約0.6を達成しました。この信号はモデルの深さとともに強まり、その後横ばいになって、さらに深い層では弱まりました。Basetenは性能を保ちながら振り分けの遅延を減らすため、量子化技術と小型のQwenモデルをGLM内部層の代理として使いました。最終的なルーターは、構造化されたタスク属性と内部活性を組み合わせ、成功率と予想コストを予測します。提供された記事本文は結果セクションの開始部分で終わっており、最終的なベンチマーク数値は示していません。