LongCat-2.5、マルチモーダルなエージェント作業に対応

LongCatは2026年11月1日、長時間にわたるエージェント作業向けのネイティブなマルチモーダルモデル、LongCat-2.5を発表しました。総パラメーター数は1.6兆で、トークンごとに有効化されるパラメーターは約480億です。同社によると、LongCat-2.0を基盤に視覚理解とエージェント型コーディングを強化し、複雑なコードベースの開発やプロジェクト全体のビルドに向けて、長い系列と大規模な強化学習で訓練しました。

モデルは視覚情報を複数段階の離散トークンで表し、画像と文章を共通のトークン形式で扱います。設計には、元の解像度を保つ視覚トークン化、オフライン前処理、基盤モデルと共同で学習する視覚埋め込みを組み合わせました。LongCatは、これにより視覚を使ったコーディング、創作デザイン、3D作業に対応すると説明しています。有効パラメーター数が平均約30億の小型の混合専門家モデルでは、t-SNE可視化で視覚と文章の埋め込みが交じり合いました。同社はこれを、共通の意味空間が成り立つことを示す初期検証と位置づけています。

LongCatの訓練工程では、コーディング課題、対話型環境、検証可能なテストを作成します。GitHubのプルリクエストと関連する課題を選別し、エージェントが課題に注釈を付けて実行環境を作ります。解決策は、失敗から成功への変化と、成功から成功への変化を確認するテストで検証します。実際の社内コーディング課題と評価基準も加え、日常的な開発作業を対象に含めます。ロールアウトの合格率を使ってラベルを付け直し、偽陽性と偽陰性を分析してテストを更新します。さらに、複数のベンチマークの課題と足場を混ぜることで、課題をまたぐ汎化性能が向上するとLongCatは述べています。

強化学習を効率化するため、システムは非同期の部分ロールアウトを使います。多めに集めたバッチのうち未完了の軌跡を中断して保存し、後のサンプリング段階で再開します。事前計算した合格率に基づいて過剰サンプリングの量を調整し、すべてのロールアウトが成功または失敗したグループは除外します。軌跡が異なる過去のチェックポイントの出力を使う場合があるため、サンプリング時の方策と現在の方策の対数確率の差をクリップし、古いサンプルによる偏りを抑えるようトークンの寄与を再調整します。LongCatは、課題環境のネットワーク接続を無効にし、Gitの履歴とキャッシュ済みファイルを削除したうえで、大規模言語モデルの判定役に軌跡の不正利用を監査させるとしています。また、考えやツール呼び出しの反復を減点し、成功したサンプル間で報酬を再配分して、過剰な思考と急増する応答の長さに対処します。

LongCat-2.5は、エージェント能力、推論、対話のためにLongCat-2.0の専門家グループを引き継ぎます。対象には、複数ターンの課題実行、単一ターン推論、詳細な指示への追従、安全性が含まれます。複数の教師モデルを使う訓練では、生徒モデルがオンラインで課題をサンプリングし、各領域の専門家が語彙全体のKLダイバージェンスを用いて訓練します。教師の応答を固定長の区間に分けて接頭部分を作り、生徒の自己サンプリングも同じ長さに制限します。同じ教師軌跡から作った接頭部分を一つの推論エンジンにまとめ、プリフィル計算とKVキャッシュを共有します。ツリーアテンションにより、教師の軌跡と生徒のサンプルを一度の順方向・逆方向計算で処理します。

長文脈の訓練は、アクセラレーター1基当たりのメモリーが80GB未満の国内AIアクセラレーター上で実行します。LongCatは並列処理グループをスーパーノードのネットワーク構成に合わせ、ハイブリッドな語彙並列化でメモリー使用量を減らします。動的な専門家複製は、専門家並列処理の負荷の偏りが設定したしきい値を超えた場合にのみ有効になります。二重シャードFSDPは各スーパーノード内でモデルパラメーターを分散し、FP32のマスタ重みとオプティマイザー状態もFSDP領域間でさらに分割します。同社は、長系列の教師あり微調整で、DDP方式を基準にデバイス当たりの処理量が86％増えたと報告しました。

LongCatによると、訓練と推論のシステムは並列化の構成が異なっても、トークンごとの対数確率をビット単位で一致させ、性能への影響をほぼゼロに抑えます。長文脈のエージェント実行では、プリフィルとデコードの構成を分け、キャッシュ管理、層をまたぐ先読み、容量に応じたスケジューリングを使います。試験した作業では、プリフィルとデコードのインスタンス比率が3対2のとき最良の結果でした。記事はさらに、1.6兆パラメーターの混合専門家モデル向けW4A4推論方式を説明しており、量子化精度、低水準カーネル、推論パイプラインを共同で最適化するとしています。

LongCatは2026年11月1日、長時間にわたるエージェント作業向けのネイティブなマルチモーダルモデル、LongCat-2.5を発表しました。総パラメーター数は1.6兆で、トークンごとに有効化されるパラメーターは約480億です。同社によると、LongCat-2.0を基盤に視覚理解とエージェント型コーディングを強化し、複雑なコードベースの開発やプロジェクト全体のビルドに向けて、長い系列と大規模な強化学習で訓練しました。

モデルは視覚情報を複数段階の離散トークンで表し、画像と文章を共通のトークン形式で扱います。設計には、元の解像度を保つ視覚トークン化、オフライン前処理、基盤モデルと共同で学習する視覚埋め込みを組み合わせました。LongCatは、これにより視覚を使ったコーディング、創作デザイン、3D作業に対応すると説明しています。有効パラメーター数が平均約30億の小型の混合専門家モデルでは、t-SNE可視化で視覚と文章の埋め込みが交じり合いました。同社はこれを、共通の意味空間が成り立つことを示す初期検証と位置づけています。

LongCatの訓練工程では、コーディング課題、対話型環境、検証可能なテストを作成します。GitHubのプルリクエストと関連する課題を選別し、エージェントが課題に注釈を付けて実行環境を作ります。解決策は、失敗から成功への変化と、成功から成功への変化を確認するテストで検証します。実際の社内コーディング課題と評価基準も加え、日常的な開発作業を対象に含めます。ロールアウトの合格率を使ってラベルを付け直し、偽陽性と偽陰性を分析してテストを更新します。さらに、複数のベンチマークの課題と足場を混ぜることで、課題をまたぐ汎化性能が向上するとLongCatは述べています。

強化学習を効率化するため、システムは非同期の部分ロールアウトを使います。多めに集めたバッチのうち未完了の軌跡を中断して保存し、後のサンプリング段階で再開します。事前計算した合格率に基づいて過剰サンプリングの量を調整し、すべてのロールアウトが成功または失敗したグループは除外します。軌跡が異なる過去のチェックポイントの出力を使う場合があるため、サンプリング時の方策と現在の方策の対数確率の差をクリップし、古いサンプルによる偏りを抑えるようトークンの寄与を再調整します。LongCatは、課題環境のネットワーク接続を無効にし、Gitの履歴とキャッシュ済みファイルを削除したうえで、大規模言語モデルの判定役に軌跡の不正利用を監査させるとしています。また、考えやツール呼び出しの反復を減点し、成功したサンプル間で報酬を再配分して、過剰な思考と急増する応答の長さに対処します。

LongCat-2.5は、エージェント能力、推論、対話のためにLongCat-2.0の専門家グループを引き継ぎます。対象には、複数ターンの課題実行、単一ターン推論、詳細な指示への追従、安全性が含まれます。複数の教師モデルを使う訓練では、生徒モデルがオンラインで課題をサンプリングし、各領域の専門家が語彙全体のKLダイバージェンスを用いて訓練します。教師の応答を固定長の区間に分けて接頭部分を作り、生徒の自己サンプリングも同じ長さに制限します。同じ教師軌跡から作った接頭部分を一つの推論エンジンにまとめ、プリフィル計算とKVキャッシュを共有します。ツリーアテンションにより、教師の軌跡と生徒のサンプルを一度の順方向・逆方向計算で処理します。

長文脈の訓練は、アクセラレーター1基当たりのメモリーが80GB未満の国内AIアクセラレーター上で実行します。LongCatは並列処理グループをスーパーノードのネットワーク構成に合わせ、ハイブリッドな語彙並列化でメモリー使用量を減らします。動的な専門家複製は、専門家並列処理の負荷の偏りが設定したしきい値を超えた場合にのみ有効になります。二重シャードFSDPは各スーパーノード内でモデルパラメーターを分散し、FP32のマスタ重みとオプティマイザー状態もFSDP領域間でさらに分割します。同社は、長系列の教師あり微調整で、DDP方式を基準にデバイス当たりの処理量が86％増えたと報告しました。

LongCatによると、訓練と推論のシステムは並列化の構成が異なっても、トークンごとの対数確率をビット単位で一致させ、性能への影響をほぼゼロに抑えます。長文脈のエージェント実行では、プリフィルとデコードの構成を分け、キャッシュ管理、層をまたぐ先読み、容量に応じたスケジューリングを使います。試験した作業では、プリフィルとデコードのインスタンス比率が3対2のとき最良の結果でした。記事はさらに、1.6兆パラメーターの混合専門家モデル向けW4A4推論方式を説明しており、量子化精度、低水準カーネル、推論パイプラインを共同で最適化するとしています。