SGLang, 모델 상태 메모리 통합

SGLang, 모델 상태 메모리 통합
2026년 11월 12일 목요일
  • •SGLang 엔지니어링 게시물, 세 가지 모델 상태가 공유하는 GPU 메모리 구조 공개
  • •32K 토큰 요청은 4K 윈도와 64토큰 페이지에서 전체 KV 512페이지·윈도 KV 64페이지 사용
  • •할당기가 투기적 디코딩 초안 KV, Kimi K3.1 DSA 인덱스, 파이프라인 병렬 처리 지원

SGLang의 통합 메모리 설계는 전체 어텐션 KV, 슬라이딩 윈도 KV, 순환 상태가 GPU 메모리 공간 하나를 함께 사용하게 합니다. 시작할 때 각 상태에 고정 용량을 배정하는 대신 수요 변화에 따라 사용 공간을 조정합니다. 이 설계는 2026년 11월 11일 공개된 SGLang 엔지니어링 게시물에 설명됐습니다.

이전 방식에서는 --swa-full-tokens-ratio와 --mamba-full-memory-ratio 같은 시작 설정으로 상태 유형별 메모리 풀을 따로 정했습니다. 긴 문맥 작업에서 전체 어텐션 공간이 먼저 고갈되는 동안 제한된 상태용 용량은 남을 수 있었고, 짧은 요청이 동시에 많이 들어오면 반대의 불균형이 생길 수 있었습니다. 통합 메모리는 각 유형의 페이지나 슬롯 크기는 유지하면서 빈 공간을 공유하게 합니다. 압축은 사용 중인 할당 영역을 메모리 공간의 양 끝으로 옮겨 가운데에 빈 영역을 만듭니다.

할당기는 각 토큰의 모든 계층에 걸친 행을 하나의 항목에 저장하므로, 할당·회수·페이지 이동이 해당 행들을 함께 처리합니다. 행마다 모양과 데이터 형식은 달라도 됩니다. 이에 따라 호환되는 투기적 디코딩 초안 KV가 대상 KV와 항목을 공유할 수 있으며, Kimi K3.1은 각 DSA 계층의 상위 k 인덱스를 MLA KV 옆에 둘 수 있습니다. 상태 슬롯에는 상태 계층의 합성곱 상태와 시간 상태도 함께 저장됩니다. Inkling을 포함해 세 가지 상태 유형을 모두 쓰는 모델도 조합별 별도 할당기 없이 지원합니다.

4K 슬라이딩 윈도와 64토큰 페이지를 사용하는 32K 토큰 요청의 정상 상태 메모리 사용량은 전체 KV 512페이지와 윈도 KV 64페이지입니다. 순환 상태가 있는 요청에는 슬롯도 필요합니다. 요청 수용량 추정은 페이지 반올림, 예상 생성량, 일시적으로 남을 수 있는 윈도 행을 포함해 통합 수요를 계산합니다. 이 추정치는 생성 한도, 프리필 수용, 청크 단위 예약, 프리필과 디코드 분리를 위한 사전 할당에 사용됩니다. 계획기는 수요가 들어맞는지 판단할 때 재사용과 제자리 확장, 양 끝 영역 압축, 이동 가능한 영역의 재배치를 확인합니다. 구체적인 배치 계획을 고르기 전에 메모리 배치가 가능한지 평가할 수 있습니다. 파이프라인 병렬 처리에서는 각 단계가 반복 시작 시 메모리 공간의 배치 정보를 교환하고 동일한 논리적 요청 수를 독립적으로 확인합니다.

중첩 스케줄러는 이전 순전파가 실행 중일 때 다음 단계를 준비할 수 있어, 요청이 메모리를 해제하자마자 페이지를 덮어쓸 수는 없습니다. 논리적 해제는 즉시 용량에 반영되지만, 물리적으로 다시 쓰려면 진행 중인 읽기나 쓰기가 처리되거나 완료될 때까지 기다립니다. 데이터 이동은 값을 복사하고 가상 주소와 물리 메모리의 대응을 바꿉니다. 기존 읽기는 원본에서 끝날 수 있으며, 복사는 이전 쓰기 뒤에 실행되도록 순서를 맞춰야 합니다. 설계에는 대기 중인 페이지, 재사용 가능한 빈 영역, 이동된 원본 보호, 줄어드는 경계 너머의 데이터 바이트를 위한 펜스도 포함됩니다. 중첩 스케줄링, Radix 캐시, HiCache, 프리필·디코드 분리, 투기적 디코딩, 파이프라인 병렬 처리, 디코드 문맥 병렬 처리, 데이터 병렬 어텐션과 함께 작동합니다. 제공된 기사 내용은 집중 테스트와 한계가 있다고 언급한 뒤 끝나며, 세부 내용은 담기지 않았습니다.

AIB 뉴스레터를 구독하세요

가장 빠르고 정확한 AI 소식, 이메일로 받아보세요

카톡 문의