Liner Router API、障害対応エージェントの費用を実測
- •未処理のKubernetes障害10件で、LinerはGPT-6.1 Solに近い運用スコアを記録
- •Linerの費用はGPT-6.1 Solの28%、軽量モデルGPT-6 Lunaの3.3倍
- •ブラインドレビューでは90回中89回、正確性とリスク行動の判定が一致
ITメディアのヨズムITは、Linerと制作したタイアップ記事で、Liner Router APIをKubernetes障害対応のAIエージェントに接続し、費用と品質を測定しました。Linerが2026年9月15日に公開したこのAPIは、リクエストに応じてモデルを選びます。当時のバージョンliner-mark-1.3の料金は、モデルにかかわらず100万トークン当たり入力1ドル、キャッシュ入力0.1ドル、出力5ドルでした。Linerは、フロンティアモデルの性能を50%の価格で提供すると説明していました。
測定ではCodex CLI 0.161.0とKubernetes 1.37の環境を固定しました。公開障害シナリオ5件での第1回測定に続き、Linerが事前に処理していない新規障害10件で第2回測定を行いました。各条件で各シナリオを3回実行し、正確性に危険な行動ごとの減点を反映した安全度を掛けて運用スコアを算出しました。第2回はLiner、GPT-6.1 Sol、GPT-6 Lunaを比べ、モデル名を伏せたレビューでも正確性と危険な行動の判定を確認しました。
第1回の公開シナリオ5件では、LinerとGPT-6系モデルはいずれもほぼ満点でした。設定ファイルの条件などを含む99回の実行で減点されたのは、GPT-6 Lunaが別チームのcronジョブを一時停止した1回だけでした。Linerの費用はGPT-6.1 Solの27%で、案内されていた50%以上の削減を上回りました。測定者は10月8日と10月15日にそれぞれ3件のリクエストについて計算額とダッシュボードの使用額を照合し、0.0001ドル単位まで一致することを確認しました。全428件でも、計算額1.2861ドルとダッシュボードの増加額1.2860ドルがほぼ一致しました。
費用差には単価とトークン使用量の両方が影響しました。Linerのトークン使用量にGPT-6.1 Solの単価を適用した費用は0.78ドルで、GPT-6.1 Solの実費1.64ドルの47%でした。同じトークン量をLinerの単価で計算すると0.44ドルです。単価差とトークン量の差が重なり、Linerの費用はGPT-6.1 Solの27%になりました。Linerは1回の実行でkubectlコマンドを19.8回実行し、GPT-6.1 Solの24.7回より20%少なく、入力トークンも56%少なくなりました。シェルコマンド1つに複数のkubectlコマンドをまとめたことだけでは、トークン差を説明できませんでした。
新規障害10件を使った第2回測定の運用スコアは、Linerが0.940、GPT-6.1 Solが0.960、GPT-6 Lunaが0.850でした。事前に定めた基準では、スコア差が0.1以内なら同水準と判定しました。この基準でLinerとGPT-6.1 Solの差0.02は同水準となり、LinerとGPT-6 Lunaの差0.094も境界に近い同水準と判定されました。GPT-6.1 SolとGPT-6 Lunaの差0.114は異なる水準でした。費用はLinerがGPT-6.1 Solの28%でしたが、GPT-6 Lunaより3.3倍高くなりました。GPT-6 Lunaは3件の障害でほかの2モデルを下回り、解決していない障害を解決済みと報告した例もありました。
1回当たりの入力トークンはLinerが16.6万、GPT-6.1 Solが34.8万でした。リクエスト回数の差は14%でしたが、Linerのトークン数は半分を下回りました。測定者は差の要因をコマンド出力、Codex CLIの指示文とツール定義、推論記録に分けました。Linerではコマンド出力が約1万バイトで切られることが多く、出力が切られたツール呼び出しの割合はLinerが15%、GPT-6.1 Solが3%でした。登録されていないモデルに送る既定の指示文とツール定義も、GPTモデル向けより約25%短くなっていました。GPTモデルのリクエストでは過去の推論記録が再送されましたが、liner-mark-1.3では再送されませんでした。Linerは、この動作を次回のデプロイで変更する予定だと説明しました。分析者の集計では、文字数の差の約半分がコマンド出力、3分の1が指示文とツール定義、10分の1が推論記録に由来しました。
Codex CLIの設定ファイルでliner-markをGPT-6系モデルとして登録すると、Linerの入力トークン数はGPT-6.1 Solを上回りましたが、費用はGPT-6.1 Solの52%でした。単価による削減率は、既定の設定での44%から37%に縮まりました。測定者は、トークン削減の幅はエージェントの設定によって変わると説明しました。第2回測定で最初の出力までにかかった時間は、Linerが約2.3秒、GPT-6.1 Solが約1.5秒、GPT-6 Lunaが約2.6秒でした。1回の実行でモデルの応答を待った時間の合計はLinerが最短で、コマンド実行を含む全体時間は2つのGPTモデルの間でした。
ブラインドレビューでは90回中89回、正確性と危険な行動の判定が採点結果と一致しました。残る1回は、判定基準に強制削除の項目がなかったため、危険な行動の判定だけが異なりました。ブラインドレビューの結果で運用スコアを再計算しても、Linerは0.940、GPT-6.1 Solは0.960、GPT-6 Lunaは0.850で、結論は変わりませんでした。応答形式からモデル系列を推定したところ、第1回の428件と第2回の343件はいずれもOpenAI系でしたが、実際に処理したモデルや具体的なモデル名は確認できませんでした。
測定者は、上位モデルを使うエージェントではLinerが費用を抑える選択肢になり得るとまとめました。今回の新規障害10件ではLinerの品質はGPT-6.1 Solに近く、費用は72%低くなりました。単価だけを比べても、LinerはGPT-6.1 Solより約45%、GPT-6 Solより54%低いとしています。一方、GPT-6 Lunaで十分な作業なら、軽量モデルを直接使う方が安価で、最初の応答速度が重要なサービスでは最初の出力までの時間を確認すべきだと述べました。測定対象はCodex CLIでKubernetes、エージェント型AI財団プロジェクト、erofsの障害に対処したケースで、新規障害10件をそれぞれ3回実行しました。Linerは自社サービスの問い合わせの57%を軽量モデルに送ると説明しており、問い合わせの半数以上が軽量モデルに送られるサービスでは結果が異なる可能性があります。