어제 기사인프라
SGLang, DeepInfer 벤치마크 결과 공개
- SGLang, 4x GB300과 4x B300에서 프리필 처리량 최대 1.04배 기록
- 64x GB300에서 GPU당 16~256개 요청 처리 시 디코드 단계 1.1~7.4% 단축
- DeepSeek 커널 통합하고 KV 캐시·프리필/디코드 분리·복제본 부하 분산 지원
LMSYS읽어보기 · 약 3분 →
최신 AI 뉴스
가장 빠르고 정확한 AI 관련 소식을 매일 아침 받아보세요
등록된 뉴스: 12,417개|오늘 등록된 뉴스오늘: 13개
최신 뉴스 듣기
카테고리
검색
