SGLang은 2026년 10월 15일 NVIDIA Nemotron 3.5 Super VL을 출시 당일부터 서빙할 수 있도록 지원하고, 서빙 계층에서 모델을 실행하는 배포 안내를 공개했습니다. NVIDIA에 따르면 Nemotron 3.5 Super VL은 텍스트, 이미지, 문서, 동영상을 입력받고 에이전트의 추론과 도구 사용을 위한 텍스트를 출력하는 오픈 멀티모달 모델입니다. 전문가 혼합 구조를 적용했으며 전체 매개변수는 1,200억 개, 토큰마다 활성화되는 매개변수는 120억 개입니다.

NVIDIA는 이 모델을 Nemotron 3 제품군에서 정확도가 높은 멀티모달 실행 모델로 소개하며, Nemotron 3.5 Lightning 및 Nemotron 3 Ultra와 함께 배치했습니다. 조직은 NeMo를 사용해 분야별 용어, 작업, 정책, 도구 사용 방식에 맞게 모델을 조정할 수 있다고 NVIDIA는 밝혔습니다. 제안된 활용 사례에는 고객 서비스 화면과 양식 해석, 보고서와 스캔 문서 비교, 업무용 소프트웨어에서 여러 단계로 진행되는 작업 지원, 동영상 분석, 웹 조사 등이 포함됩니다.

SGLang은 모델 서빙에 연속 배칭, 접두어 캐싱, 투기적 디코딩, OpenAI 호환 API를 지원합니다. 배포 안내는 디코딩 과정에서 여러 미래 토큰을 제안해 검증하는 다중 토큰 예측(MTP)을 설명하고, 단일 RTX 6000 PRO에서 초당 243.9토큰을 기록했다고 보고합니다. NVIDIA가 제시한 배포 대상은 DGX Spark, GB10 1개, B200, B300, RTX PRO 6000, H200, H100 2개입니다.

NVIDIA는 하이브리드 Mamba-Transformer 설계와 MTP, LatentMoE, NVFP4 양자화가 긴 문맥의 멀티모달 에이전트 작업에서 처리량과 메모리 효율을 높이도록 설계됐다고 밝혔습니다. NVIDIA의 수치에 따르면 단일 GPU에서 에이전트 작업 처리량은 같은 크기 범주의 다른 오픈 모델보다 최대 5배 빠르며, Baseten 엔드포인트에서 Artificial Analysis Intelligence Index의 에이전트 작업 처리량은 초당 600토큰을 넘었습니다. 또한 비슷한 크기의 다른 주요 오픈 모델보다 작업 완료 속도가 4배 빠르다고 NVIDIA는 보고했습니다. 배포용 BF16 및 NVFP4 가중치는 Hugging Face에서 제공되며, SGLang 배포 시작 안내서도 공개됐습니다.

SGLang은 2026년 10월 15일 NVIDIA Nemotron 3.5 Super VL을 출시 당일부터 서빙할 수 있도록 지원하고, 서빙 계층에서 모델을 실행하는 배포 안내를 공개했습니다. NVIDIA에 따르면 Nemotron 3.5 Super VL은 텍스트, 이미지, 문서, 동영상을 입력받고 에이전트의 추론과 도구 사용을 위한 텍스트를 출력하는 오픈 멀티모달 모델입니다. 전문가 혼합 구조를 적용했으며 전체 매개변수는 1,200억 개, 토큰마다 활성화되는 매개변수는 120억 개입니다.

NVIDIA는 이 모델을 Nemotron 3 제품군에서 정확도가 높은 멀티모달 실행 모델로 소개하며, Nemotron 3.5 Lightning 및 Nemotron 3 Ultra와 함께 배치했습니다. 조직은 NeMo를 사용해 분야별 용어, 작업, 정책, 도구 사용 방식에 맞게 모델을 조정할 수 있다고 NVIDIA는 밝혔습니다. 제안된 활용 사례에는 고객 서비스 화면과 양식 해석, 보고서와 스캔 문서 비교, 업무용 소프트웨어에서 여러 단계로 진행되는 작업 지원, 동영상 분석, 웹 조사 등이 포함됩니다.

SGLang은 모델 서빙에 연속 배칭, 접두어 캐싱, 투기적 디코딩, OpenAI 호환 API를 지원합니다. 배포 안내는 디코딩 과정에서 여러 미래 토큰을 제안해 검증하는 다중 토큰 예측(MTP)을 설명하고, 단일 RTX 6000 PRO에서 초당 243.9토큰을 기록했다고 보고합니다. NVIDIA가 제시한 배포 대상은 DGX Spark, GB10 1개, B200, B300, RTX PRO 6000, H200, H100 2개입니다.

NVIDIA는 하이브리드 Mamba-Transformer 설계와 MTP, LatentMoE, NVFP4 양자화가 긴 문맥의 멀티모달 에이전트 작업에서 처리량과 메모리 효율을 높이도록 설계됐다고 밝혔습니다. NVIDIA의 수치에 따르면 단일 GPU에서 에이전트 작업 처리량은 같은 크기 범주의 다른 오픈 모델보다 최대 5배 빠르며, Baseten 엔드포인트에서 Artificial Analysis Intelligence Index의 에이전트 작업 처리량은 초당 600토큰을 넘었습니다. 또한 비슷한 크기의 다른 주요 오픈 모델보다 작업 완료 속도가 4배 빠르다고 NVIDIA는 보고했습니다. 배포용 BF16 및 NVFP4 가중치는 Hugging Face에서 제공되며, SGLang 배포 시작 안내서도 공개됐습니다.