Cerebras, 초대형 모델 웨이퍼 배포 방식 설명

Cerebras는 WSE-3T 웨이퍼 규모 칩에 초대형 모델을 배치해 초당 1,000~2,000개 이상 토큰을 처리할 수 있다고 밝혔습니다. 회사의 배포 가이드는 매개변수 약 3조 개를 가진 오픈소스 모델 Kimi K3를 예로 들어 모델 가중치와 요청 데이터를 웨이퍼에 나누는 방식을 설명합니다. WSE-3T 웨이퍼 한 장의 온칩 메모리는 44GB이며, 매개변수 1조 개 모델은 가중치만으로도 테라바이트 단위 저장 공간이 필요합니다.

Kimi K3는 선형 어텐션층 69개와 밀집층 24개로 구성됩니다. Cerebras가 제시한 성능은 Terminal-Bench 2.1에서 88.3%로, GPT-5.6 Sol의 88.8%와 비교되며, BrowseComp에서는 91.2%로 GPT-5.6 Sol의 90.4%와 비교됩니다. 계산 예시에서는 요청 크기 평균 256k, 가중치를 4비트로 저장하는 양자화, 이후 토큰 생성에 필요한 정보를 보관하는 8비트 KV 캐시를 가정했습니다. 매개변수당 4비트를 적용하면 Kimi K3의 3조 개 매개변수를 93개 층에 나눌 때 층마다 약 16GB가 필요합니다.

Cerebras는 밀집층 하나를 웨이퍼 한 장에 배치하고 남은 메모리를 KV 캐시에 할당합니다. 선형 어텐션층은 요청마다 고정된 크기의 상태를 유지하므로 웨이퍼 한 장에 두 층을 배치합니다. 이에 따라 선형 어텐션층 69개에는 웨이퍼 35장, 밀집층 24개에는 24장을 써 총 59장이 필요합니다. 컴파일러는 웨이퍼 영역별로 층을 배치하고 실행 시스템은 층 사이에서 토큰을 전달합니다. 웨이퍼 사이를 오가는 것은 층 간 중간 결과인 활성화값뿐이며, 회사 설명에 따르면 이 데이터는 이더넷 기반 RDMA로 홉당 약 2마이크로초에 전송됩니다. 가중치는 보통 웨이퍼에 남고 전체 층은 온칩에 들어갑니다.

Cerebras는 각 웨이퍼가 층 단계 하나를 실행하고 중간 결과를 다음 웨이퍼에 넘기는 파이프라인 방식으로 모델을 설명합니다. 웨이퍼를 계속 가동하기 위해 서로 다른 요청이 각기 다른 단계를 동시에 통과하며, 각 단계는 마이크로배치, 즉 작은 요청 묶음을 처리할 수 있습니다. 처리 중인 요청 수는 대략 단계 수에 마이크로배치 크기를 곱한 값입니다. 마이크로배치가 작으면 요청 하나의 처리 속도가 빨라지고, 크면 전체 처리량이 늘어납니다.

밀집층이 놓인 웨이퍼에서 KV 캐시에 남겨 둔 메모리가 동시에 처리할 수 있는 요청 수의 상한을 정합니다. 처리 중인 각 요청마다 그런 웨이퍼에 별도의 캐시가 필요하기 때문입니다. Cerebras는 동시 처리 요청 수와 배치 크기만으로 추론 효율을 판단할 수 없다고 밝혔으며, 같은 출력 생성 속도에서 메가와트당 초당 토큰 수처럼 전력 단위당 전체 토큰 처리량이 더 의미 있는 지표라고 설명합니다. 회사는 가중치와 요청 상태를 추가 웨이퍼에 분산하면 같은 방식을 3조 개보다 큰 모델에도 확장할 수 있으며, 웨이퍼를 더할 때마다 연산 능력과 온칩 메모리가 늘어난다고 밝혔습니다.

Cerebras는 WSE-3T 웨이퍼 규모 칩에 초대형 모델을 배치해 초당 1,000~2,000개 이상 토큰을 처리할 수 있다고 밝혔습니다. 회사의 배포 가이드는 매개변수 약 3조 개를 가진 오픈소스 모델 Kimi K3를 예로 들어 모델 가중치와 요청 데이터를 웨이퍼에 나누는 방식을 설명합니다. WSE-3T 웨이퍼 한 장의 온칩 메모리는 44GB이며, 매개변수 1조 개 모델은 가중치만으로도 테라바이트 단위 저장 공간이 필요합니다.

Kimi K3는 선형 어텐션층 69개와 밀집층 24개로 구성됩니다. Cerebras가 제시한 성능은 Terminal-Bench 2.1에서 88.3%로, GPT-5.6 Sol의 88.8%와 비교되며, BrowseComp에서는 91.2%로 GPT-5.6 Sol의 90.4%와 비교됩니다. 계산 예시에서는 요청 크기 평균 256k, 가중치를 4비트로 저장하는 양자화, 이후 토큰 생성에 필요한 정보를 보관하는 8비트 KV 캐시를 가정했습니다. 매개변수당 4비트를 적용하면 Kimi K3의 3조 개 매개변수를 93개 층에 나눌 때 층마다 약 16GB가 필요합니다.

Cerebras는 밀집층 하나를 웨이퍼 한 장에 배치하고 남은 메모리를 KV 캐시에 할당합니다. 선형 어텐션층은 요청마다 고정된 크기의 상태를 유지하므로 웨이퍼 한 장에 두 층을 배치합니다. 이에 따라 선형 어텐션층 69개에는 웨이퍼 35장, 밀집층 24개에는 24장을 써 총 59장이 필요합니다. 컴파일러는 웨이퍼 영역별로 층을 배치하고 실행 시스템은 층 사이에서 토큰을 전달합니다. 웨이퍼 사이를 오가는 것은 층 간 중간 결과인 활성화값뿐이며, 회사 설명에 따르면 이 데이터는 이더넷 기반 RDMA로 홉당 약 2마이크로초에 전송됩니다. 가중치는 보통 웨이퍼에 남고 전체 층은 온칩에 들어갑니다.

Cerebras는 각 웨이퍼가 층 단계 하나를 실행하고 중간 결과를 다음 웨이퍼에 넘기는 파이프라인 방식으로 모델을 설명합니다. 웨이퍼를 계속 가동하기 위해 서로 다른 요청이 각기 다른 단계를 동시에 통과하며, 각 단계는 마이크로배치, 즉 작은 요청 묶음을 처리할 수 있습니다. 처리 중인 요청 수는 대략 단계 수에 마이크로배치 크기를 곱한 값입니다. 마이크로배치가 작으면 요청 하나의 처리 속도가 빨라지고, 크면 전체 처리량이 늘어납니다.

밀집층이 놓인 웨이퍼에서 KV 캐시에 남겨 둔 메모리가 동시에 처리할 수 있는 요청 수의 상한을 정합니다. 처리 중인 각 요청마다 그런 웨이퍼에 별도의 캐시가 필요하기 때문입니다. Cerebras는 동시 처리 요청 수와 배치 크기만으로 추론 효율을 판단할 수 없다고 밝혔으며, 같은 출력 생성 속도에서 메가와트당 초당 토큰 수처럼 전력 단위당 전체 토큰 처리량이 더 의미 있는 지표라고 설명합니다. 회사는 가중치와 요청 상태를 추가 웨이퍼에 분산하면 같은 방식을 3조 개보다 큰 모델에도 확장할 수 있으며, 웨이퍼를 더할 때마다 연산 능력과 온칩 메모리가 늘어난다고 밝혔습니다.