Meta、Muse Spark Openの重みを公開
- •MetaがMuse Spark Openの重みを公開し、Basetenが8160億パラメーターのモデルをAPIと専用環境で提供
- •推論時の有効パラメーターは427億、コンテキスト長は100万トークンで、コーディングエージェント向けのマルチモーダル入力に対応
- •Basetenによると、ハイブリッドアテンションにより、コンテキスト長12万8000トークン時のKVキャッシュを系列ごとに31 GiBから8.4 GiBへ削減
Metaは2026年10月15日、Muse Spark Openの重みを公開し、Basetenは8160億パラメーターのオープンウェイト・オムニモーダルモデルをModel APIsとDedicated Inferenceで提供しました。Muse Codeと共同学習したこのモデルは、コーディングエージェント向けに設計されています。推論時の有効パラメーターは427億、コンテキスト長は100万トークンで、テキスト、画像、動画、音声を入力し、テキストを出力します。Basetenは、米国で公開されたオープンウェイトモデルの中で、これまで最も高性能だとしています。Muse Codeのほか、OpenCode、Pi、Deep Agents Codeなどの外部エージェントでも利用できます。
Metaが公表したベンチマークでは、Muse Spark Openはエージェント型コーディングや知識労働で、他の先端研究機関のモデルと比較されました。各モデルには共通の試験環境ではなく、それぞれの開発元のコーディングエージェントが使われ、Muse SparkにはMuse Code、Claude Opus 5にはClaude Code、GPT-5.6 TerraにはCodexが組み合わされました。比較対象は各社の主力モデルで、上位版のClaude Fable 5.1とGPT-6 Astraは含まれていません。Basetenによると、Muse Spark Openは通常のコマンド実行やデバッグの反復作業では非公開の主力モデルに近い性能を示しますが、大規模な複数ファイルの変更ではClaude Opus 5やGPT-5.6 Terraより多くの指示や再試行を必要とします。Grok 4.5やGemini 3.6 Flashにもよく対抗し、文章による作業要約ではOpus 5以外の全モデルを上回ったとしています。
長時間のエージェント作業で計算資源とメモリーの需要を抑えるため、モデルは圧縮型の混合専門家モデル(入力ごとに担当する専門ネットワークを選ぶ方式)と、全体・局所アテンションを組み合わせています。共有プーラーが各入力ベクトルを圧縮して専門ネットワークに渡し、共有アンプーラーがそれらの出力をまとめて復元します。一方、ルーターは全幅のベクトルを読み取ります。この仕組みにより、各専門ネットワークのパラメーター数は半減し、非圧縮設計に比べモデル全体を約8000億パラメーター分縮小します。空いたGPUメモリーをより大きなKVキャッシュや同時処理する系列に回せるほか、GPU間の通信量も減らせます。
モデルの62層のうち46層は、2048トークンのスライディングウィンドウと回転位置埋め込みを使う局所アテンションを採用し、残る16層は位置エンコーディングを使わずに系列全体を処理する大域アテンションを使います。コンテキスト長が12万8000トークンの場合、この構成では系列ごとのKVキャッシュ用メモリーが31 GiBから8.4 GiBに減り、大域アテンション層だけのモデルと比べて約3.7分の1になります。Basetenによると、コンテキストが長くなるほど削減効果も大きくなります。局所アテンション層では、ウィンドウ外に出た過去のトークン情報を上書きできますが、大域アテンション層はKVキャッシュに全コンテキストの情報を保持します。
Basetenが提供するNVFP4チェックポイントは、専門ネットワークの重みを4ビットで保存し、アテンションの重みと最初・最後の層にある専門ネットワークにはbf16を使います。これによりモデルの重みは約1.6 TBから540 GBとなり、約3分の2削減されます。複数ノードをつなぐ専用ネットワークなしで、4基のGB300を搭載した1ノードにモデルを収められます。Basetenは、空いたメモリーによってノードあたりの同時エージェント作業数と処理性能を高められるとしています。OpenAI互換のModel APIはツール呼び出し、推論出力、100万トークンの全コンテキスト長に対応し、チームは予約容量を使うDedicated Inferenceも利用できます。