OpenRouter、プロバイダー振り分けを刷新

OpenRouterは2026年10月28日、創業以来最大となるプロバイダー振り分けアルゴリズムの改善を発表しました。新しい既定のルーターは、主に入力トークン価格で振り分けていた従来方式と異なり、実質価格、応答速度、スループット、信頼性、応答品質を考慮します。利用者はコードを変更せずに使えます。試験では、Time to First Token（ストリーミング開始までの待ち時間）の中央値が16.9%低下し、スループットが16.3%向上、処理能力のエラーが67%減少しました。一方、1,000件あたりの費用は6.0%上昇しました。

OpenRouterへのリクエストの約77%は、複数のプロバイダーが提供するモデルに向かいます。従来方式では、安価なプロバイダーに多くのトラフィックを送り、失敗したリクエストは次に安い選択肢へ移していました。同社によると、この方式では利用者が失敗を待たされる場合があり、リアルタイムの性能変化を見落とし、インフラ投資より値下げを優遇することがありました。またプロバイダーは、入力トークンを安くする一方で、キャッシュ済みトークンや出力トークンの料金を高く設定できました。

新しいルーターは、最近のモデル利用状況から入力・出力トークン数を推定します。キャッシュヒットや平均的な入力・出力の構成を含む実測トラフィックを使い、各プロバイダーの実質価格を算出します。応答全体における出力トークン数で測るスループットと、Time to First Token（TTFT）も採点します。レート制限やプロバイダー側の障害にはペナルティーを加えます。失敗したリクエストは時間を費やし、再試行が必要になる場合があるためです。ツール呼び出しが正しい形式かなど、応答が実際に使えるかも確認します。ツール呼び出しの不具合や、モデルの想定スコアを大きく下回るベンチマーク精度が報告されたプロバイダーには、問題が解消するまで少量の試験トラフィックだけを送ります。

トラフィックはルーターの順位上位にあるプロバイダー間で分け、競争力の差が広がるにつれて配分を急速に減らします。各プロバイダーにも少量のリクエストを送り続ける一方、障害やレート制限が起きた場合は配分を下げ、HTTP 429エラーを返す前に処理できる負荷を上限とします。新しいエンドポイントには、そのモデルの標準的な数値を適用します。プロンプトキャッシュが有効な間は会話を最初に選ばれたプロバイダーに維持しますが、そのプロバイダーが利用不能になれば切り替えます。失敗したリクエストは次順位のプロバイダーで再試行します。明示的なprovider.order、provider.sortや一部のプロバイダーフィルターを使うと、新しい振り分け方式が適用されるかどうかが変わります。

OpenRouterは、オープンソースモデルの代表的なサンプルを使い、1週間のスイッチバック実験（旧方式と新方式を時間帯ごとに切り替える試験）を行いました。条件をそろえた3時間枠で旧・新ルーターを交互に運用し、切り替え後の1時間分のデータを除外しました。1,030億件の入力トークンを含む2,400万件超のリクエストを両方式に振り分けました。TTFT中央値は1,007ミリ秒から837ミリ秒へ、95パーセンタイルは4,601ミリ秒から3,733ミリ秒へ低下しました。スループット中央値は毎秒62.4トークンから72.6トークンへ上昇しました。リクエスト全体の所要時間は中央値が4.00秒から3.24秒へ、95パーセンタイルが41.5秒から34.9秒へ低下しました。HTTP 429エラーが1回以上発生したリクエストは7.1%から3.8%へ減り、67%減と報告されました。再試行が必要なリクエストも10.4%から6.9%へ減少し、47%減となりました。

費用は1,000件あたり1.25ドルから1.32ドルへ6.0%上昇し、100万トークンあたりでは0.301ドルから0.324ドルへ7.3%上昇しました。失敗した試行に費やす時間は、リクエストあたり349ミリ秒から242ミリ秒に減り、55%減と報告されました。価格だけで振り分けたい利用者は、価格順を選ぶ、「:floor」をモデル名に付ける、またはアカウント設定で既定値を変更できます。プロバイダーの順番を指定したり、対象プロバイダーを限定したりすることもできます。

OpenRouterは2026年10月28日、創業以来最大となるプロバイダー振り分けアルゴリズムの改善を発表しました。新しい既定のルーターは、主に入力トークン価格で振り分けていた従来方式と異なり、実質価格、応答速度、スループット、信頼性、応答品質を考慮します。利用者はコードを変更せずに使えます。試験では、Time to First Token（ストリーミング開始までの待ち時間）の中央値が16.9%低下し、スループットが16.3%向上、処理能力のエラーが67%減少しました。一方、1,000件あたりの費用は6.0%上昇しました。

OpenRouterへのリクエストの約77%は、複数のプロバイダーが提供するモデルに向かいます。従来方式では、安価なプロバイダーに多くのトラフィックを送り、失敗したリクエストは次に安い選択肢へ移していました。同社によると、この方式では利用者が失敗を待たされる場合があり、リアルタイムの性能変化を見落とし、インフラ投資より値下げを優遇することがありました。またプロバイダーは、入力トークンを安くする一方で、キャッシュ済みトークンや出力トークンの料金を高く設定できました。

新しいルーターは、最近のモデル利用状況から入力・出力トークン数を推定します。キャッシュヒットや平均的な入力・出力の構成を含む実測トラフィックを使い、各プロバイダーの実質価格を算出します。応答全体における出力トークン数で測るスループットと、Time to First Token（TTFT）も採点します。レート制限やプロバイダー側の障害にはペナルティーを加えます。失敗したリクエストは時間を費やし、再試行が必要になる場合があるためです。ツール呼び出しが正しい形式かなど、応答が実際に使えるかも確認します。ツール呼び出しの不具合や、モデルの想定スコアを大きく下回るベンチマーク精度が報告されたプロバイダーには、問題が解消するまで少量の試験トラフィックだけを送ります。

トラフィックはルーターの順位上位にあるプロバイダー間で分け、競争力の差が広がるにつれて配分を急速に減らします。各プロバイダーにも少量のリクエストを送り続ける一方、障害やレート制限が起きた場合は配分を下げ、HTTP 429エラーを返す前に処理できる負荷を上限とします。新しいエンドポイントには、そのモデルの標準的な数値を適用します。プロンプトキャッシュが有効な間は会話を最初に選ばれたプロバイダーに維持しますが、そのプロバイダーが利用不能になれば切り替えます。失敗したリクエストは次順位のプロバイダーで再試行します。明示的なprovider.order、provider.sortや一部のプロバイダーフィルターを使うと、新しい振り分け方式が適用されるかどうかが変わります。

OpenRouterは、オープンソースモデルの代表的なサンプルを使い、1週間のスイッチバック実験（旧方式と新方式を時間帯ごとに切り替える試験）を行いました。条件をそろえた3時間枠で旧・新ルーターを交互に運用し、切り替え後の1時間分のデータを除外しました。1,030億件の入力トークンを含む2,400万件超のリクエストを両方式に振り分けました。TTFT中央値は1,007ミリ秒から837ミリ秒へ、95パーセンタイルは4,601ミリ秒から3,733ミリ秒へ低下しました。スループット中央値は毎秒62.4トークンから72.6トークンへ上昇しました。リクエスト全体の所要時間は中央値が4.00秒から3.24秒へ、95パーセンタイルが41.5秒から34.9秒へ低下しました。HTTP 429エラーが1回以上発生したリクエストは7.1%から3.8%へ減り、67%減と報告されました。再試行が必要なリクエストも10.4%から6.9%へ減少し、47%減となりました。

費用は1,000件あたり1.25ドルから1.32ドルへ6.0%上昇し、100万トークンあたりでは0.301ドルから0.324ドルへ7.3%上昇しました。失敗した試行に費やす時間は、リクエストあたり349ミリ秒から242ミリ秒に減り、55%減と報告されました。価格だけで振り分けたい利用者は、価格順を選ぶ、「:floor」をモデル名に付ける、またはアカウント設定で既定値を変更できます。プロバイダーの順番を指定したり、対象プロバイダーを限定したりすることもできます。