リキッドAI、リアルタイム推論エンジン「RIPL」発売

リキッドAIは現地時間22日、リアルタイム業務におけるAIの応答遅延を減らす商用推論エンジン「RIPL（Real-time Inference Pipeline）」を発売したと発表しました。オープンソースではなく企業向け製品として提供し、導入価格は営業チームへの問い合わせが必要です。同社は自社の基盤モデルLFMをリクエスト処理経路に直接接続し、リクエストの受け付けから応答完了まで50ミリ秒（ms）未満を目標に設計したと説明しています。最大規模のトラフィックが続いても低遅延を保てるよう開発したとしています。

既存の推論インフラは、大規模なバッチ処理や長時間動くAIエージェントの作業向けに設計され、1件のリクエストに数秒かかる場合があります。一方、検索順位の決定、商品推薦、不正検知、決済承認にはミリ秒単位の応答が必要です。リキッドAIによると、企業はこうした業務で勾配ブースティング木や小型の埋め込みモデルなど、従来型の高速な機械学習手法を主に使ってきました。同社はRIPLによって、こうした手法と生成AIの間にある速度と性能のトレードオフを減らすとしています。

同社は、検索語の書き換え、意図分類、不正検知のように、入力に対して出力が単一トークンかごく短いタスクに合わせてRIPLを設計したと説明しました。長い回答を作る対話型チャットボットより、素早い判断を要する意思決定経路を対象にしています。モデルのアルゴリズムだけでなく、リクエストの受け付けから応答完了までのインフラと処理経路全体を最適化するとしています。

リキッドAIの自社ベンチマークでは、NVIDIA B200 GPU 1基を使い、入力32トークン・出力32トークン、および入力256トークン・出力128トークンのタスクを試験しました。その結果、RIPL上のLFM2.5-1.2Bは、vLLM上で実行したQwen3.5-0.8BよりP95レイテンシが14.4～28.4倍低くなりました。LFM2.5-2.6Bも、vLLM上のQwen3.5-2BよりP95レイテンシが5.6～7.7倍短かったとしています。これは同社独自の測定結果で、別の環境でも同じ性能が得られるかは追加検証が必要です。

電子商取引プラットフォームのShopifyは、応答速度が重要なコマース業務にLFMを導入しています。リキッドAIによると、検索改善の作業では実運用のトラフィックを対象に推論時間を20ミリ秒未満にし、代替モデルよりパラメーター数を約50％減らしながら、推論速度を2～10倍高めました。同社は、広告検索語の書き換え、検索意図の分類、検索結果の再ランキング、決済リスク評価、信用審査、画像の代替テキスト生成などを適用分野として挙げています。RIPLはNVIDIA H100・H200・B200およびRTX PRO 6000 GPUを使う企業環境で利用でき、対応モデルはパラメーター数2億3,000万～26億のLFM2.5シリーズです。

リキッドAIは現地時間22日、リアルタイム業務におけるAIの応答遅延を減らす商用推論エンジン「RIPL（Real-time Inference Pipeline）」を発売したと発表しました。オープンソースではなく企業向け製品として提供し、導入価格は営業チームへの問い合わせが必要です。同社は自社の基盤モデルLFMをリクエスト処理経路に直接接続し、リクエストの受け付けから応答完了まで50ミリ秒（ms）未満を目標に設計したと説明しています。最大規模のトラフィックが続いても低遅延を保てるよう開発したとしています。

既存の推論インフラは、大規模なバッチ処理や長時間動くAIエージェントの作業向けに設計され、1件のリクエストに数秒かかる場合があります。一方、検索順位の決定、商品推薦、不正検知、決済承認にはミリ秒単位の応答が必要です。リキッドAIによると、企業はこうした業務で勾配ブースティング木や小型の埋め込みモデルなど、従来型の高速な機械学習手法を主に使ってきました。同社はRIPLによって、こうした手法と生成AIの間にある速度と性能のトレードオフを減らすとしています。

同社は、検索語の書き換え、意図分類、不正検知のように、入力に対して出力が単一トークンかごく短いタスクに合わせてRIPLを設計したと説明しました。長い回答を作る対話型チャットボットより、素早い判断を要する意思決定経路を対象にしています。モデルのアルゴリズムだけでなく、リクエストの受け付けから応答完了までのインフラと処理経路全体を最適化するとしています。

リキッドAIの自社ベンチマークでは、NVIDIA B200 GPU 1基を使い、入力32トークン・出力32トークン、および入力256トークン・出力128トークンのタスクを試験しました。その結果、RIPL上のLFM2.5-1.2Bは、vLLM上で実行したQwen3.5-0.8BよりP95レイテンシが14.4～28.4倍低くなりました。LFM2.5-2.6Bも、vLLM上のQwen3.5-2BよりP95レイテンシが5.6～7.7倍短かったとしています。これは同社独自の測定結果で、別の環境でも同じ性能が得られるかは追加検証が必要です。

電子商取引プラットフォームのShopifyは、応答速度が重要なコマース業務にLFMを導入しています。リキッドAIによると、検索改善の作業では実運用のトラフィックを対象に推論時間を20ミリ秒未満にし、代替モデルよりパラメーター数を約50％減らしながら、推論速度を2～10倍高めました。同社は、広告検索語の書き換え、検索意図の分類、検索結果の再ランキング、決済リスク評価、信用審査、画像の代替テキスト生成などを適用分野として挙げています。RIPLはNVIDIA H100・H200・B200およびRTX PRO 6000 GPUを使う企業環境で利用でき、対応モデルはパラメーター数2億3,000万～26億のLFM2.5シリーズです。