SGLang, DeepInfer 벤치마크 결과 공개

DeepSeek가 서비스에 사용한 추론 엔진 DeepInfer와 해당 커널을 공개 소스로 전환했습니다. SGLang은 같은 하드웨어에서 DeepInfer의 벤치마크를 사용해 성능을 측정했으며, 결과가 DeepInfer와 비슷하거나 앞섰다고 밝혔습니다. 4x GB300과 4x B300에서 프리필 처리량은 최대 1.04배였고, 64x GB300에서는 디코드 단계가 최대 7.4% 짧았습니다. 나머지 측정 지점의 차이는 1% 이내였습니다.

SGLang은 FlashMLA, DeepGEMM, DeepEP, DeepSelect, TileLang과 MegaAttention, MegaMoE, MegaGate, Mega-mHC로 구성된 Mega 계열 등 DeepSeek 커널을 통합했습니다. MegaMoE는 토큰 분배, 전문가 행렬 계산, 결합 작업을 하나의 커널로 처리합니다. MegaAttention은 B300과 GB300에서 단일 서버와 프리필·디코드 서버 모두에 기본 경로로 쓰입니다. SGLang은 전문가 병렬 처리와 함께 데이터 병렬 어텐션을 사용하며, 시험에서는 프리필에 DEP4, 64개 GB300 GPU에 걸친 디코드에 DEP64를 적용했습니다.

SGLang은 대상 모델이 한꺼번에 검증할 토큰 블록을 제안하는 투기적 디코딩 방식인 DSpark도 실행합니다. SWA 제한 재생은 디코더 후반부 계층에서 프롬프트의 마지막 128개 토큰만 처리합니다. Engram 테이블은 호스트 메모리에 둘 수 있고, GPU 간에 나눠 NVLink를 통해 직접 읽을 수도 있습니다.

4x GB300 프리필 시험에서 SGLang은 GPU당 단계별 새 토큰 4K, 32K, 64K 지점에서 처리량이 앞섰고, 8K와 16K에서는 DeepInfer와 같았으며 최대 1.04배를 기록했습니다. 4x B300에서는 4K, 8K, 32K에서 앞섰고 16K와 64K에서 같았으며, 처리량은 최대 1.04배였습니다. 64x GB300 디코드 시험에서 GPU당 요청이 16~256개일 때 단계 시간은 1.1~7.4% 짧았고, 요청 8개에서는 DeepInfer와 같았습니다. 프리필 비교에는 DeepInfer가 측정한 곡선을 사용하고, 각 지점에서 시험한 설정 중 가장 빠른 구성을 골랐습니다. 벤치마크의 문맥 길이는 128K 토큰이었으며, 프리필은 단계당 새 토큰 4K~64K를 시험했습니다. 디코드는 단계마다 초안 토큰 3개를 사용하고, 단계 시간을 단계당 수락된 토큰 3.25개 기준으로 환산했습니다.

SGLang은 중간 메모리 이동과 커널 실행 횟수를 줄인 것이 속도 향상의 원인이라고 밝혔습니다. Mega-mHC 출력을 MegaMoE에 바로 전달하고, 어텐션의 MXFP8 출력을 출력 투영에 사용하며, 프리필 압축과 요청별 윈도 KV 복사에 융합 커널을 적용합니다. GPU가 현재 단계를 실행하는 동안 CPU에서 다음 단계를 준비하는 스케줄러는 2024년 12월 v0.4부터 포함됐으며, DeepInfer 문서도 이 설계를 SGLang의 방식으로 설명합니다. SGLang은 요청과 대화 차례 사이에서 KV를 재사용하는 통합 레디스 캐시, 선택 가능한 KV 전송 백엔드를 갖춘 프리필·디코드 서버 분리, 캐시된 접두어 등을 기준으로 복제본 사이 요청을 분산하는 모델 게이트웨이도 제공합니다. 이 시스템은 NVIDIA GB300, B300, B200, H200과 AMD MI355X에서 API 서버로 작동합니다.

DeepSeek가 서비스에 사용한 추론 엔진 DeepInfer와 해당 커널을 공개 소스로 전환했습니다. SGLang은 같은 하드웨어에서 DeepInfer의 벤치마크를 사용해 성능을 측정했으며, 결과가 DeepInfer와 비슷하거나 앞섰다고 밝혔습니다. 4x GB300과 4x B300에서 프리필 처리량은 최대 1.04배였고, 64x GB300에서는 디코드 단계가 최대 7.4% 짧았습니다. 나머지 측정 지점의 차이는 1% 이내였습니다.

SGLang은 FlashMLA, DeepGEMM, DeepEP, DeepSelect, TileLang과 MegaAttention, MegaMoE, MegaGate, Mega-mHC로 구성된 Mega 계열 등 DeepSeek 커널을 통합했습니다. MegaMoE는 토큰 분배, 전문가 행렬 계산, 결합 작업을 하나의 커널로 처리합니다. MegaAttention은 B300과 GB300에서 단일 서버와 프리필·디코드 서버 모두에 기본 경로로 쓰입니다. SGLang은 전문가 병렬 처리와 함께 데이터 병렬 어텐션을 사용하며, 시험에서는 프리필에 DEP4, 64개 GB300 GPU에 걸친 디코드에 DEP64를 적용했습니다.

SGLang은 대상 모델이 한꺼번에 검증할 토큰 블록을 제안하는 투기적 디코딩 방식인 DSpark도 실행합니다. SWA 제한 재생은 디코더 후반부 계층에서 프롬프트의 마지막 128개 토큰만 처리합니다. Engram 테이블은 호스트 메모리에 둘 수 있고, GPU 간에 나눠 NVLink를 통해 직접 읽을 수도 있습니다.

4x GB300 프리필 시험에서 SGLang은 GPU당 단계별 새 토큰 4K, 32K, 64K 지점에서 처리량이 앞섰고, 8K와 16K에서는 DeepInfer와 같았으며 최대 1.04배를 기록했습니다. 4x B300에서는 4K, 8K, 32K에서 앞섰고 16K와 64K에서 같았으며, 처리량은 최대 1.04배였습니다. 64x GB300 디코드 시험에서 GPU당 요청이 16~256개일 때 단계 시간은 1.1~7.4% 짧았고, 요청 8개에서는 DeepInfer와 같았습니다. 프리필 비교에는 DeepInfer가 측정한 곡선을 사용하고, 각 지점에서 시험한 설정 중 가장 빠른 구성을 골랐습니다. 벤치마크의 문맥 길이는 128K 토큰이었으며, 프리필은 단계당 새 토큰 4K~64K를 시험했습니다. 디코드는 단계마다 초안 토큰 3개를 사용하고, 단계 시간을 단계당 수락된 토큰 3.25개 기준으로 환산했습니다.

SGLang은 중간 메모리 이동과 커널 실행 횟수를 줄인 것이 속도 향상의 원인이라고 밝혔습니다. Mega-mHC 출력을 MegaMoE에 바로 전달하고, 어텐션의 MXFP8 출력을 출력 투영에 사용하며, 프리필 압축과 요청별 윈도 KV 복사에 융합 커널을 적용합니다. GPU가 현재 단계를 실행하는 동안 CPU에서 다음 단계를 준비하는 스케줄러는 2024년 12월 v0.4부터 포함됐으며, DeepInfer 문서도 이 설계를 SGLang의 방식으로 설명합니다. SGLang은 요청과 대화 차례 사이에서 KV를 재사용하는 통합 레디스 캐시, 선택 가능한 KV 전송 백엔드를 갖춘 프리필·디코드 서버 분리, 캐시된 접두어 등을 기준으로 복제본 사이 요청을 분산하는 모델 게이트웨이도 제공합니다. 이 시스템은 NVIDIA GB300, B300, B200, H200과 AMD MI355X에서 API 서버로 작동합니다.