SGLang과 Miles가 975B 파라미터 규모와 1M 토큰의 컨텍스트 윈도우를 갖춘 멀티모달 모델 Inkling의 당일 지원을 발표했다. Inkling은 ShortConv, 상대적 위치 임베딩, 그리고 MoE(Mixture-of-Experts) 구조 내 공유 전문가 싱크(Shared-expert sink) 설계를 특징으로 하는 최첨단 아키텍처 모델이다. SGLang은 Nvidia Blackwell GPU에서 해당 아키텍처에 대한 성능 최적화를 제공하며, 최대 71.7k tok/s의 입력 처리량과 사용자당 171.0 tok/s의 디코딩 속도를 구현했다. 이러한 성과는 ShortConv(토큰 차원에서의 인과적 컨볼루션) 전용 커널, 상대적 편향값을 처리하기 위한 특수 어텐션 커널, 그리고 공유 전문가 MoE를 위한 선형화된 가중치 레이아웃 등을 통해 달성되었다.

SGLang의 최적화 작업은 표준 디코더 전용 모델과는 차별화되는 세 가지 구조적 지점을 해결했다. 우선 ShortConv 구현 시 K/V 컨볼루션, 정규화, KV 캐시 쓰기 과정을 하나로 통합한 커널을 사용하여 기존 비통합 방식 대비 2.08~3.60배의 속도 향상을 이루었다. 다음으로, 상대적 로짓은 수정된 FlashAttention-4 통합 내의 전단 편향 커널(Sheared-bias kernel)을 통해 처리하며, 타일 로드를 통해 편향값을 더하는 방식을 채택했다. 마지막으로 공유 전문가 MoE는 가중치 레이아웃을 선형화하여 전문가 배치 작업을 두 번의 밀집 행렬 곱셈(GEMM)으로 변환함으로써 B200 W4A16 구성 기준 입력 처리량을 5.8~11.1% 개선했다.

Miles 플랫폼은 맞춤형 Megatron 백엔드 내에서 Inkling을 구현하여 텍스트 및 시각-언어 작업 전반에 걸친 전체 파라미터 및 LoRA 강화학습을 지원한다. Miles는 맞춤형 커널과 라우팅 재실행 메커니즘을 통해 학습과 추론 간의 일관성을 보장한다. 또한 Modal에서 Inkling을 위해 특별히 학습시킨 보조 모델인 DFlash를 활용한 투기적 디코딩도 지원된다. 소프트웨어 스택은 데이터, 파이프라인, 텐서 병렬화 등 다양한 분산 학습 전략을 광범위하게 지원하여 975B 파라미터 구조의 효율적인 강화학습 배포를 가능하게 한다.

SGLang과 Miles가 975B 파라미터 규모와 1M 토큰의 컨텍스트 윈도우를 갖춘 멀티모달 모델 Inkling의 당일 지원을 발표했다. Inkling은 ShortConv, 상대적 위치 임베딩, 그리고 MoE(Mixture-of-Experts) 구조 내 공유 전문가 싱크(Shared-expert sink) 설계를 특징으로 하는 최첨단 아키텍처 모델이다. SGLang은 Nvidia Blackwell GPU에서 해당 아키텍처에 대한 성능 최적화를 제공하며, 최대 71.7k tok/s의 입력 처리량과 사용자당 171.0 tok/s의 디코딩 속도를 구현했다. 이러한 성과는 ShortConv(토큰 차원에서의 인과적 컨볼루션) 전용 커널, 상대적 편향값을 처리하기 위한 특수 어텐션 커널, 그리고 공유 전문가 MoE를 위한 선형화된 가중치 레이아웃 등을 통해 달성되었다.

SGLang의 최적화 작업은 표준 디코더 전용 모델과는 차별화되는 세 가지 구조적 지점을 해결했다. 우선 ShortConv 구현 시 K/V 컨볼루션, 정규화, KV 캐시 쓰기 과정을 하나로 통합한 커널을 사용하여 기존 비통합 방식 대비 2.08~3.60배의 속도 향상을 이루었다. 다음으로, 상대적 로짓은 수정된 FlashAttention-4 통합 내의 전단 편향 커널(Sheared-bias kernel)을 통해 처리하며, 타일 로드를 통해 편향값을 더하는 방식을 채택했다. 마지막으로 공유 전문가 MoE는 가중치 레이아웃을 선형화하여 전문가 배치 작업을 두 번의 밀집 행렬 곱셈(GEMM)으로 변환함으로써 B200 W4A16 구성 기준 입력 처리량을 5.8~11.1% 개선했다.

Miles 플랫폼은 맞춤형 Megatron 백엔드 내에서 Inkling을 구현하여 텍스트 및 시각-언어 작업 전반에 걸친 전체 파라미터 및 LoRA 강화학습을 지원한다. Miles는 맞춤형 커널과 라우팅 재실행 메커니즘을 통해 학습과 추론 간의 일관성을 보장한다. 또한 Modal에서 Inkling을 위해 특별히 학습시킨 보조 모델인 DFlash를 활용한 투기적 디코딩도 지원된다. 소프트웨어 스택은 데이터, 파이프라인, 텐서 병렬화 등 다양한 분산 학습 전략을 광범위하게 지원하여 975B 파라미터 구조의 효율적인 강화학습 배포를 가능하게 한다.