SGLang과 Miles는 2026년 10월 15일 Muse Spark Open의 서빙과 학습을 출시 당일부터 지원한다고 발표했습니다. 공개 가중치 멀티모달 혼합 전문가 모델은 816B 매개변수 텍스트 트랜스포머 백본을 사용하며, 토큰당 활성 매개변수는 약 420억 개입니다. 텍스트, 이미지, 동영상, 오디오 입력을 받고 1M 토큰 컨텍스트 창을 지원합니다. 체크포인트는 NVFP4와 BF16 형식으로 제공됩니다. 대상 플랫폼은 NVIDIA Blackwell GPU(GB300, B300, GB200, B200), NVIDIA H200, AMD MI350X·MI355X, P코어를 탑재한 Intel Xeon 6입니다.

SGLang은 NVFP4 체크포인트를 NVIDIA B300 GPU 8개에서 실행해 OpenHands의 여러 차례 대화형 에이전트 코딩 재생을 측정했습니다. 동시 요청 1개에서 GPU당 초당 총 토큰 처리량은 14.8K, 사용자당 초당 처리량 중앙값(p50)은 543토큰이었습니다. 동시 요청 128개에서는 GPU당 초당 총 토큰 처리량이 80.3K, 사용자당 초당 처리량 중앙값은 61토큰이었습니다. SGLang은 NVFP4 MegaMoE를 활용한 시퀀스 병렬화, 멀티모달 전처리 최적화, DFlash V2 투기적 디코딩도 지원합니다.

모델의 1M 토큰 컨텍스트에서 그룹화 질의 어텐션은 여러 질의 헤드 그룹이 키·값 헤드를 공유하도록 합니다. 슬라이딩 윈도 레이어는 제한된 최근 문맥을 처리하고, 주기적인 전역 레이어는 전체 시퀀스에 접근합니다. 이미지와 동영상 프레임은 NaViT 시각 인코더를 함께 사용하고, 오디오는 별도 인코더를 거칩니다. 인코더 출력은 디코더에서 텍스트 임베딩과 결합됩니다. 혼합 전문가 블록은 풀러와 언풀러 투영으로 특징 차원을 압축하고 복원하며, 전문가별 RMSNorm을 적용한 뒤 출력을 가중 결합합니다.

SGLang은 GB300 GPU 4개에서 NVFP4 대상 모델, DFlash V2 초안 모델, TP4/EP4, FP8 KV 캐시, 16K 프리필 청크를 사용해 세 가지 구성을 비교했습니다. 각 테스트는 요청 8개씩 묶은 그룹 8개를 보냈으며, 요청당 입력 토큰은 명목상 80K, 출력 토큰은 20개였습니다. 그룹 안의 요청은 생성된 73,360토큰 접두부를 공유했고, 각 그룹은 서로 독립적으로 만든 접두부를 사용했습니다. 7개 동시성 수준에서 시퀀스 병렬화와 MegaMoE를 함께 적용하자 TP4 대비 p90 첫 토큰 도달 시간이 28.3–41.9% 줄었습니다. 동시 요청 64개에서는 해당 시간이 29.03초에서 19.47초로 감소해 32.9% 단축됐습니다.

SGLang은 CPU에서 Rust 또는 Pillow로 이미지와 동영상을 크기 조정하고, 시각 인코딩에 최적화된 어텐션 백엔드를 사용하며, 대화 차례가 바뀌어도 같은 이미지의 캐시 결과를 재사용하는 전처리 방식을 설명했습니다. 별도의 인코더·프리필·디코드 작업자는 인코딩된 미디어 특징과 KV 캐시를 단계 사이에 전달합니다. 다른 서빙 기능으로는 프리필·디코드 분리, GPU·호스트 KV 캐시 계층인 HiCache, 분할 가능한 CUDA 그래프가 있습니다.

DFlash V2는 초안 모델이 Muse Spark Open이 검증할 미래 토큰 블록을 제안하는 방식입니다. 동적 합성곱은 인접한 초안 위치의 정보를 섞고, 후보 선택기는 제안된 토큰 사이의 의존성을 고려합니다. SGLang은 초안 작성과 선택을 하나의 CUDA 그래프에 통합하고 중첩 스케줄링을 지원합니다. 샘플링된 제안의 블록 검증은 대상 모델과 초안 모델의 확률을 사용해 초안 접두부를 함께 평가합니다. 유효한 접두부 중 가장 긴 것을 채택하고, 일부만 승인되면 수정 토큰을 샘플링하며, 전체가 승인되면 대상 모델의 보너스 토큰을 샘플링합니다.

팀은 정규화와 잔차 연산 결합, 메모리 접근 횟수 감소, CUDA 기반 라우팅, 분할된 풀러·언풀러 투영, 독립적인 혼합 전문가 작업의 중첩 등 커널 변경 사항도 공개했습니다. DeepGEMM의 MegaMoE는 분배, 전문가 계산, 활성화, 결합을 지속형 커널 하나로 묶습니다. Muse Spark Open 지원에는 60개 레이어의 NVFP4 가중치와 활성화, 2개 레이어의 BF16 전문가, 라우팅 가중치 적용 전 전문가별 RMS 정규화가 필요합니다. 나머지 절에서는 AMD·Intel 플랫폼 지원, 강화학습, 학습 가능한 백엔드, 토큰 일관성을 유지하는 다중 대화 롤아웃, 학습 결과, 감사의 말, 재현 방법을 소개합니다.

SGLang과 Miles는 2026년 10월 15일 Muse Spark Open의 서빙과 학습을 출시 당일부터 지원한다고 발표했습니다. 공개 가중치 멀티모달 혼합 전문가 모델은 816B 매개변수 텍스트 트랜스포머 백본을 사용하며, 토큰당 활성 매개변수는 약 420억 개입니다. 텍스트, 이미지, 동영상, 오디오 입력을 받고 1M 토큰 컨텍스트 창을 지원합니다. 체크포인트는 NVFP4와 BF16 형식으로 제공됩니다. 대상 플랫폼은 NVIDIA Blackwell GPU(GB300, B300, GB200, B200), NVIDIA H200, AMD MI350X·MI355X, P코어를 탑재한 Intel Xeon 6입니다.

SGLang은 NVFP4 체크포인트를 NVIDIA B300 GPU 8개에서 실행해 OpenHands의 여러 차례 대화형 에이전트 코딩 재생을 측정했습니다. 동시 요청 1개에서 GPU당 초당 총 토큰 처리량은 14.8K, 사용자당 초당 처리량 중앙값(p50)은 543토큰이었습니다. 동시 요청 128개에서는 GPU당 초당 총 토큰 처리량이 80.3K, 사용자당 초당 처리량 중앙값은 61토큰이었습니다. SGLang은 NVFP4 MegaMoE를 활용한 시퀀스 병렬화, 멀티모달 전처리 최적화, DFlash V2 투기적 디코딩도 지원합니다.

모델의 1M 토큰 컨텍스트에서 그룹화 질의 어텐션은 여러 질의 헤드 그룹이 키·값 헤드를 공유하도록 합니다. 슬라이딩 윈도 레이어는 제한된 최근 문맥을 처리하고, 주기적인 전역 레이어는 전체 시퀀스에 접근합니다. 이미지와 동영상 프레임은 NaViT 시각 인코더를 함께 사용하고, 오디오는 별도 인코더를 거칩니다. 인코더 출력은 디코더에서 텍스트 임베딩과 결합됩니다. 혼합 전문가 블록은 풀러와 언풀러 투영으로 특징 차원을 압축하고 복원하며, 전문가별 RMSNorm을 적용한 뒤 출력을 가중 결합합니다.

SGLang은 GB300 GPU 4개에서 NVFP4 대상 모델, DFlash V2 초안 모델, TP4/EP4, FP8 KV 캐시, 16K 프리필 청크를 사용해 세 가지 구성을 비교했습니다. 각 테스트는 요청 8개씩 묶은 그룹 8개를 보냈으며, 요청당 입력 토큰은 명목상 80K, 출력 토큰은 20개였습니다. 그룹 안의 요청은 생성된 73,360토큰 접두부를 공유했고, 각 그룹은 서로 독립적으로 만든 접두부를 사용했습니다. 7개 동시성 수준에서 시퀀스 병렬화와 MegaMoE를 함께 적용하자 TP4 대비 p90 첫 토큰 도달 시간이 28.3–41.9% 줄었습니다. 동시 요청 64개에서는 해당 시간이 29.03초에서 19.47초로 감소해 32.9% 단축됐습니다.

SGLang은 CPU에서 Rust 또는 Pillow로 이미지와 동영상을 크기 조정하고, 시각 인코딩에 최적화된 어텐션 백엔드를 사용하며, 대화 차례가 바뀌어도 같은 이미지의 캐시 결과를 재사용하는 전처리 방식을 설명했습니다. 별도의 인코더·프리필·디코드 작업자는 인코딩된 미디어 특징과 KV 캐시를 단계 사이에 전달합니다. 다른 서빙 기능으로는 프리필·디코드 분리, GPU·호스트 KV 캐시 계층인 HiCache, 분할 가능한 CUDA 그래프가 있습니다.

DFlash V2는 초안 모델이 Muse Spark Open이 검증할 미래 토큰 블록을 제안하는 방식입니다. 동적 합성곱은 인접한 초안 위치의 정보를 섞고, 후보 선택기는 제안된 토큰 사이의 의존성을 고려합니다. SGLang은 초안 작성과 선택을 하나의 CUDA 그래프에 통합하고 중첩 스케줄링을 지원합니다. 샘플링된 제안의 블록 검증은 대상 모델과 초안 모델의 확률을 사용해 초안 접두부를 함께 평가합니다. 유효한 접두부 중 가장 긴 것을 채택하고, 일부만 승인되면 수정 토큰을 샘플링하며, 전체가 승인되면 대상 모델의 보너스 토큰을 샘플링합니다.

팀은 정규화와 잔차 연산 결합, 메모리 접근 횟수 감소, CUDA 기반 라우팅, 분할된 풀러·언풀러 투영, 독립적인 혼합 전문가 작업의 중첩 등 커널 변경 사항도 공개했습니다. DeepGEMM의 MegaMoE는 분배, 전문가 계산, 활성화, 결합을 지속형 커널 하나로 묶습니다. Muse Spark Open 지원에는 60개 레이어의 NVFP4 가중치와 활성화, 2개 레이어의 BF16 전문가, 라우팅 가중치 적용 전 전문가별 RMS 정규화가 필요합니다. 나머지 절에서는 AMD·Intel 플랫폼 지원, 강화학습, 학습 가능한 백엔드, 토큰 일관성을 유지하는 다중 대화 롤아웃, 학습 결과, 감사의 말, 재현 방법을 소개합니다.