Together Compiler、メガカーネルを28%上回る

Together Compiler、メガカーネルを28%上回る
2026年11月17日 火曜日
  • •Together CompilerがB200搭載のLlama 3.2 1Bで毎秒2,118トークンを達成
  • •CUDA GraphsとPDLを標準のTorch Inductorカーネルに重ね、メガカーネル性能の98%を回復
  • •Inductorの607個の調整フラグと単独ベンチマークで、用途ごとの性能低下やカーネル選択ミスが発生

Together AIは、モデルの順方向処理に使うGPUカーネルを書き換えて統合するAIエージェントを活用したTogether Compilerが、B200 GPU搭載のLlama 3.2 1Bで毎秒2,118トークンに達したと発表しました。同社によると、これは手書きのメガカーネルの毎秒1,649トークンを28%上回ります。コンパイラーは、モデル構造やバッチサイズ、系列長、ハードウェアが変わっても推論の最適化を機能させる実験から生まれました。

昨年、Togetherはモデル全体の順方向処理を実行する、単一の高度に統合されたGPUカーネル「メガカーネル」の公開を支援しました。記録的な速度を達成した一方、本番環境での作業は数カ月を要し、最終的に対応できたのは1つのモデル、1つのバッチサイズ、1社の顧客でした。その後チームは、GPUカーネルの起動負荷を減らすCUDA GraphsとPDLを標準のTorch Inductorカーネルに適用し、カーネルを書かずにメガカーネル性能の98%を回復できると確認しました。複数のカーネルとエージェントによる反復処理を加えると、従来のメガカーネルを最大1.7倍上回り、H100上でLlama 1Bの毎秒1,100トークンを超えました。

開発チームは、PyTorchの実行時コンパイラーであるTorch Compileと、その構成要素Inductorを調査しました。チームのLlama 1B処理では、Inductorの速度は毎秒669トークンでした。調整方法の効果は処理条件に大きく左右され、重みの固定を有効にすると大きなバッチサイズではスループットが10〜26%向上する一方、バッチサイズ1では49%低下しました。2026年第3四半期時点でInductorには607個の調整フラグがあり、そのうち198個は前年に追加されました。設定の組み合わせで結果は変わり、積極的なカーネル融合だけでは毎秒6トークン低下しましたが、ほかの3つのフラグと組み合わせると毎秒3トークン向上しました。

単独のカーネル測定では、推論時の性能を正確に予測できないことも分かりました。Inductorのベンチマークでは、一部のカーネルが順方向処理の実行中より39〜58%遅く測定されました。64Kトークンの系列では、ゼロで埋めたトークンIDによる埋め込み検索が、ランダムなIDを使う場合より2.1倍速くなりました。一部の測定ではベンチマークの処理負荷が約3.6マイクロ秒加わりました。Llama 1Bでは、Inductorが選んだTritonの出力射影カーネルは7.4マイクロ秒かかりましたが、実際の推論でのcuBLASは6.4マイクロ秒で、15%の性能低下に当たります。GLM 5.3でも、ランダム入力を使うと、現実的な入力によるテストよりMoEのグループ化GEMMの測定時間が4〜21%長くなりました。

Inductorの貪欲なペア単位のカーネル融合は、GPUの使用率を考慮しないため、一部の統合機会を見逃しました。Llama 1Bの例では、6つのCTAを使うアクティベーションカーネルの実行中、GPUの132基のストリーミングマルチプロセッサの大半が使われないまま、別のインデックス処理カーネルが続きました。メモリーアクセスを共有していないため、コンパイラーは両者の統合を拒みました。Togetherは、融合の判断にGPU使用率を反映し、順方向処理の中で実データを使ってベンチマークを行うべきだと述べています。記事冒頭ではTogether Compilerを、GPUプログラミングと最適化システムの開発に2年を費やした末に作られた、継続的な推論最適化のためのフレームワークと説明しています。

AIBニュースレターを購読

最も速く正確なAIニュースをメールでいかがですか?

この記事に関連する企業情報