Cerebras、兆単位パラメーター模型の展開方法を説明

Cerebrasは、WSE-3Tウェハスケールチップを使い、数兆パラメーターのモデルを毎秒1,000～2,000超のトークンで実行できると説明しています。同社の展開ガイドは、オープンソースのKimi K3（約3兆パラメーター）を例に、モデルの重みとリクエストデータをウェハ間で分配する方法を示しています。WSE-3Tウェハ1枚のオンチップメモリーは44 GBですが、1兆パラメーターのモデルは重みだけで数テラバイトの保存領域を必要とします。

Kimi K3は線形アテンション層が69層、密結合層が24層です。Cerebrasによると、同モデルのTerminal-Bench 2.1のスコアは88.3%で、GPT-5.6 Solの88.8%と比較されます。BrowseCompでは91.2%で、GPT-5.6 Solの90.4%を上回りました。計算例では、平均リクエストサイズを256k、重み量子化を4ビット（各重みを4ビットで保存）、KVキャッシュを8ビット（後続トークン生成に使う情報を保持するメモリー）と仮定しています。1パラメーター当たり4ビットで保存すると、3兆パラメーターを93層に分けた場合、1層当たり約16 GBが必要です。

Cerebrasは密結合層をウェハ1枚に1層ずつ配置し、残りのメモリーをKVキャッシュ用に確保します。線形アテンション層はリクエストごとに固定サイズの状態を保持するため、1枚のウェハに2層を配置します。このため線形層69層に35枚、密結合層24層に24枚、合計59枚のウェハを使います。コンパイラーがウェハ内の領域に層を割り当て、実行環境が層間のトークンを転送します。ウェハ間を移動するのは活性化（層をまたいで渡される中間結果）だけで、RDMA（ネットワーク経由で別の機器のメモリーに直接アクセスする技術）をイーサネット上で使い、1ホップ当たり約2マイクロ秒で転送します。同社によると、重みは通常それぞれのウェハ上にとどまり、層全体をチップ内に収められます。

Cerebrasはモデルをパイプラインとして説明しています。各ウェハが層の段階を実行し、中間結果を次のウェハへ渡します。ウェハを稼働させ続けるため、複数のリクエストを異なる段階で同時に処理し、各段階ではマイクロバッチ（少数のリクエストのまとまり）を扱えます。処理中のリクエスト数は、おおむね段階数にマイクロバッチのサイズを掛けた数です。マイクロバッチを小さくすると個々のリクエストが速くなり、大きくすると全体の処理量が増えます。

密結合層を置いたウェハでKVキャッシュに使えるメモリー量が、同時に処理できるリクエスト数の上限を決めます。処理中の各リクエストが、そうしたウェハごとに専用のキャッシュを必要とするためです。Cerebrasは、同時処理数やバッチサイズだけでは推論効率を示せないとし、同じ出力生成速度でのメガワット当たり毎秒トークン数など、電力当たりの総トークン処理量をより有意義な指標に挙げています。同社によると、この方法は重みとリクエスト状態を追加のウェハに分散することで、3兆パラメーターを超えるモデルにも拡張できます。ウェハを追加するたびに計算能力とオンチップメモリーも増えます。

Cerebrasは、WSE-3Tウェハスケールチップを使い、数兆パラメーターのモデルを毎秒1,000～2,000超のトークンで実行できると説明しています。同社の展開ガイドは、オープンソースのKimi K3（約3兆パラメーター）を例に、モデルの重みとリクエストデータをウェハ間で分配する方法を示しています。WSE-3Tウェハ1枚のオンチップメモリーは44 GBですが、1兆パラメーターのモデルは重みだけで数テラバイトの保存領域を必要とします。

Kimi K3は線形アテンション層が69層、密結合層が24層です。Cerebrasによると、同モデルのTerminal-Bench 2.1のスコアは88.3%で、GPT-5.6 Solの88.8%と比較されます。BrowseCompでは91.2%で、GPT-5.6 Solの90.4%を上回りました。計算例では、平均リクエストサイズを256k、重み量子化を4ビット（各重みを4ビットで保存）、KVキャッシュを8ビット（後続トークン生成に使う情報を保持するメモリー）と仮定しています。1パラメーター当たり4ビットで保存すると、3兆パラメーターを93層に分けた場合、1層当たり約16 GBが必要です。

Cerebrasは密結合層をウェハ1枚に1層ずつ配置し、残りのメモリーをKVキャッシュ用に確保します。線形アテンション層はリクエストごとに固定サイズの状態を保持するため、1枚のウェハに2層を配置します。このため線形層69層に35枚、密結合層24層に24枚、合計59枚のウェハを使います。コンパイラーがウェハ内の領域に層を割り当て、実行環境が層間のトークンを転送します。ウェハ間を移動するのは活性化（層をまたいで渡される中間結果）だけで、RDMA（ネットワーク経由で別の機器のメモリーに直接アクセスする技術）をイーサネット上で使い、1ホップ当たり約2マイクロ秒で転送します。同社によると、重みは通常それぞれのウェハ上にとどまり、層全体をチップ内に収められます。

Cerebrasはモデルをパイプラインとして説明しています。各ウェハが層の段階を実行し、中間結果を次のウェハへ渡します。ウェハを稼働させ続けるため、複数のリクエストを異なる段階で同時に処理し、各段階ではマイクロバッチ（少数のリクエストのまとまり）を扱えます。処理中のリクエスト数は、おおむね段階数にマイクロバッチのサイズを掛けた数です。マイクロバッチを小さくすると個々のリクエストが速くなり、大きくすると全体の処理量が増えます。

密結合層を置いたウェハでKVキャッシュに使えるメモリー量が、同時に処理できるリクエスト数の上限を決めます。処理中の各リクエストが、そうしたウェハごとに専用のキャッシュを必要とするためです。Cerebrasは、同時処理数やバッチサイズだけでは推論効率を示せないとし、同じ出力生成速度でのメガワット当たり毎秒トークン数など、電力当たりの総トークン処理量をより有意義な指標に挙げています。同社によると、この方法は重みとリクエスト状態を追加のウェハに分散することで、3兆パラメーターを超えるモデルにも拡張できます。ウェハを追加するたびに計算能力とオンチップメモリーも増えます。