Manifestは3月にLLMルーターを投入した後、6月に非推奨とし、September 1stに完全停止する予定だと明らかにした。同社は、大半の用途ではモデルルーティングをもはや有効とは見ておらず、その場でモデルを選んで推論コストを下げるとうたう最近のルーター製品がある一方で、十分に検証された単一モデルを使う方が通常は良い選択だと述べた。

ManifestのルーターはLLMゲートウェイの一部で、各リクエストをsimple、standard、complex、reasoningの4段階に分類していた。7000人のクラウド利用者による4カ月の使用後、同社は結果がまちまちで、GitHubのissueやdiscussionも発生したと報告した。プロンプト本文だけでは、ツール呼び出し、ウェブ検索、リポジトリ文脈によって必要な作業量が変わるため、タスクの複雑さを十分に判断できない場合が多いという結論だった。

Manifestは、キャッシュ読み取りが未キャッシュ入力より75%から90%安いため、キャッシュの方がルーティングより安定してコストを下げることが多いと説明した。システムプロンプトや会話履歴は多数のトークンを占める場合があり、繰り返し使うテキストがプロンプト冒頭にあるとPrefix cacheはうまく機能する。キャッシュを意識したルーターは最初のモデルへの固定性を加え、そのモデルに問い合わせ続けるため、実質的にルーティングを避ける形になるという。

Manifestは、LLMルーターが作業セッション中にモデルを切り替えることで、挙動の一貫性を下げる可能性もあると述べた。同社は、エンジニアが意図に基づいてモデルとeffortパラメータを選ぶべきだと主張した。自動化されたエージェント的ワークフローや自律エージェントで予測不能性が生じると、評価、システムプロンプト、可観測性にまたがって保守コストが増える可能性がある。Manifestは、同社が見た大半の用途では、節約分が見積もりにくい別のコストとして支払われるため、ルーティングは割に合わなかったと結論づけた。

Manifestは3月にLLMルーターを投入した後、6月に非推奨とし、September 1stに完全停止する予定だと明らかにした。同社は、大半の用途ではモデルルーティングをもはや有効とは見ておらず、その場でモデルを選んで推論コストを下げるとうたう最近のルーター製品がある一方で、十分に検証された単一モデルを使う方が通常は良い選択だと述べた。

ManifestのルーターはLLMゲートウェイの一部で、各リクエストをsimple、standard、complex、reasoningの4段階に分類していた。7000人のクラウド利用者による4カ月の使用後、同社は結果がまちまちで、GitHubのissueやdiscussionも発生したと報告した。プロンプト本文だけでは、ツール呼び出し、ウェブ検索、リポジトリ文脈によって必要な作業量が変わるため、タスクの複雑さを十分に判断できない場合が多いという結論だった。

Manifestは、キャッシュ読み取りが未キャッシュ入力より75%から90%安いため、キャッシュの方がルーティングより安定してコストを下げることが多いと説明した。システムプロンプトや会話履歴は多数のトークンを占める場合があり、繰り返し使うテキストがプロンプト冒頭にあるとPrefix cacheはうまく機能する。キャッシュを意識したルーターは最初のモデルへの固定性を加え、そのモデルに問い合わせ続けるため、実質的にルーティングを避ける形になるという。

Manifestは、LLMルーターが作業セッション中にモデルを切り替えることで、挙動の一貫性を下げる可能性もあると述べた。同社は、エンジニアが意図に基づいてモデルとeffortパラメータを選ぶべきだと主張した。自動化されたエージェント的ワークフローや自律エージェントで予測不能性が生じると、評価、システムプロンプト、可観測性にまたがって保守コストが増える可能性がある。Manifestは、同社が見た大半の用途では、節約分が見積もりにくい別のコストとして支払われるため、ルーティングは割に合わなかったと結論づけた。