SageMaker, 추론 엔드포인트에 GPU 분할 도입

Amazon SageMaker Inference가 추론 구성 요소를 사용하는 모델 엔드포인트에서 GPU 분할을 지원합니다. NVIDIA Multi-Instance GPU(MIG) 기술로 물리 GPU를 연산 자원과 메모리를 각각 갖춘 하드웨어 격리 파티션으로 나눕니다. 모델마다 한 GPU 안의 별도 파티션을 사용할 수 있어, 사용자는 최신 GPU 전체를 예약하는 대신 일부를 선택할 수 있습니다. 단일 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 지원 대상이 아닙니다.

가속기보다 모델이 많을 때 고객은 더 적은 수의 대형 엔드포인트에서 요청을 묶어 처리하거나, 멀티 모델 엔드포인트를 쓰거나, Kubernetes를 직접 관리해야 했습니다. 요청 묶음 처리는 모델을 서로 바꿔 쓸 수 있을 때 적합합니다. 멀티 모델 엔드포인트는 GPU를 격리 없이 공유하며, 메모리에 올라오지 않은 모델이 처음 요청될 때 로딩 지연이 생깁니다. Kubernetes는 MIG를 지원하지만 드라이버, 파티션 설정, 장치 플러그인과 스케줄링을 사용자가 관리해야 합니다. SageMaker에서는 사용자가 파티션 구성을 선택하고 서비스가 설정, 배치와 확장을 처리합니다. Salesforce는 요구사항 정의와 초기 구현 검증을 도왔으며, 대표적인 실제 운영 작업 부하로 시험을 준비 중이라고 밝혔습니다.

MIG는 GPU 종류에 따라 한 GPU를 최대 7개 인스턴스로 나눌 수 있습니다. 전용 메모리 대역폭은 한 모델의 트래픽 급증이 다른 모델의 p99 지연시간에 영향을 주지 않도록 설계됐으며, 하드웨어 경계는 충돌과 메모리 오류도 격리합니다. 모델을 각 파티션에 계속 올려 두면 로딩 지연과 퇴출을 피할 수 있고, 파티션 성능으로 부하를 시험해 GPU 비용을 모델, 팀 또는 테넌트별로 배분할 수 있습니다. 엔드포인트 생성 시 구성을 선택하며, MIG는 파티션이 유휴 상태일 때만 구성을 바꿀 수 있습니다. GPU 한 대보다 큰 자원이 필요한 모델은 여전히 GPU 전체를 써야 합니다.

기능에는 선택 입력 항목 2개가 추가됩니다. 프로덕션 변형의 CreateEndpointConfig에는 AcceleratorPartitionLayouts를, 추론 구성 요소에는 AcceleratorPartitionType을 지정합니다. 각 구성 요소 복사본은 선택한 유형의 파티션 하나를 사용하며, CopyCount를 늘리면 비어 있는 파티션에 복사본이 추가됩니다. 유형을 지정해도 NumberOfAcceleratorDevicesRequired 값은 1이며, 이때 1은 GPU 전체가 아니라 파티션 하나를 뜻합니다. CPU 코어와 호스트 메모리는 따로 지정하고 InvokeEndpoint 요청 방식은 바뀌지 않습니다. 엔드포인트 프로비저닝 중 GPU 분할이 이뤄지며, 회사 테스트에서는 약 17초가 더 걸렸습니다.

사용 가능한 구성은 GPU에 따라 다릅니다. 40GB A100을 탑재한 P4d와 80GB H100을 탑재한 P5는 최대 7개 파티션을 지원합니다. 32GB RTX PRO 4500 Blackwell GPU를 쓰는 G7은 2개, 96GB RTX PRO 6000 Blackwell Server Edition GPU를 쓰는 G7e는 4개를 지원합니다. 구성 이름은 연산 단위와 GPU 메모리를 나타내며, 한 구성의 파티션 합계는 GPU 한 대가 제공하는 두 자원을 넘을 수 없습니다. P4d에서 mig-1g.10gb를 쓰려면 NVIDIA 드라이버 R525 이상이 필요합니다. 기본 이미지에는 드라이버 470.256.02가 포함되며, al2023-ami-sagemaker-inference-gpu-4-1은 580 드라이버를 제공합니다.

구성 선택은 작업 부하에 달려 있습니다. 연산 자원은 프롬프트를 처리하는 프리필을 지원하고, GPU 메모리는 토큰 생성에 쓰이며 KV 캐시 용량, 문맥 길이와 동시 시퀀스 수를 제한합니다. FP16 형식의 8B 모델은 가중치에 약 16GB를 사용하고, KV 캐시와 실행 중 필요한 메모리 1~2GB가 추가로 필요합니다. 글은 이 모델이 40GB 파티션에서 8,000토큰 문맥을 처리할 수 있다고 설명합니다.

게시물은 소형·중형 모델 포트폴리오, 고객별 모델 서비스, 여러 단계의 처리 파이프라인, 요청 경로의 소형 분류기, 카나리 모델을 활용 사례로 꼽습니다. GPU 파티션은 GPU 메모리와 처리량을 격리하지만, 같은 인스턴스의 모델은 호스트 CPU, 시스템 메모리, 저장장치, 네트워크와 엔드포인트 라우팅을 공유합니다. 성능 비교를 위해 AWS는 H100의 mig-3g.40gb 파티션 하나와 분할하지 않은 A100-40GB 전체를 같은 클라이언트의 genai-bench 부하 생성으로 시험했습니다. 제공된 글은 비교 결과를 싣기 전에 끝납니다.

Amazon SageMaker Inference가 추론 구성 요소를 사용하는 모델 엔드포인트에서 GPU 분할을 지원합니다. NVIDIA Multi-Instance GPU(MIG) 기술로 물리 GPU를 연산 자원과 메모리를 각각 갖춘 하드웨어 격리 파티션으로 나눕니다. 모델마다 한 GPU 안의 별도 파티션을 사용할 수 있어, 사용자는 최신 GPU 전체를 예약하는 대신 일부를 선택할 수 있습니다. 단일 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 지원 대상이 아닙니다.

가속기보다 모델이 많을 때 고객은 더 적은 수의 대형 엔드포인트에서 요청을 묶어 처리하거나, 멀티 모델 엔드포인트를 쓰거나, Kubernetes를 직접 관리해야 했습니다. 요청 묶음 처리는 모델을 서로 바꿔 쓸 수 있을 때 적합합니다. 멀티 모델 엔드포인트는 GPU를 격리 없이 공유하며, 메모리에 올라오지 않은 모델이 처음 요청될 때 로딩 지연이 생깁니다. Kubernetes는 MIG를 지원하지만 드라이버, 파티션 설정, 장치 플러그인과 스케줄링을 사용자가 관리해야 합니다. SageMaker에서는 사용자가 파티션 구성을 선택하고 서비스가 설정, 배치와 확장을 처리합니다. Salesforce는 요구사항 정의와 초기 구현 검증을 도왔으며, 대표적인 실제 운영 작업 부하로 시험을 준비 중이라고 밝혔습니다.

MIG는 GPU 종류에 따라 한 GPU를 최대 7개 인스턴스로 나눌 수 있습니다. 전용 메모리 대역폭은 한 모델의 트래픽 급증이 다른 모델의 p99 지연시간에 영향을 주지 않도록 설계됐으며, 하드웨어 경계는 충돌과 메모리 오류도 격리합니다. 모델을 각 파티션에 계속 올려 두면 로딩 지연과 퇴출을 피할 수 있고, 파티션 성능으로 부하를 시험해 GPU 비용을 모델, 팀 또는 테넌트별로 배분할 수 있습니다. 엔드포인트 생성 시 구성을 선택하며, MIG는 파티션이 유휴 상태일 때만 구성을 바꿀 수 있습니다. GPU 한 대보다 큰 자원이 필요한 모델은 여전히 GPU 전체를 써야 합니다.

기능에는 선택 입력 항목 2개가 추가됩니다. 프로덕션 변형의 CreateEndpointConfig에는 AcceleratorPartitionLayouts를, 추론 구성 요소에는 AcceleratorPartitionType을 지정합니다. 각 구성 요소 복사본은 선택한 유형의 파티션 하나를 사용하며, CopyCount를 늘리면 비어 있는 파티션에 복사본이 추가됩니다. 유형을 지정해도 NumberOfAcceleratorDevicesRequired 값은 1이며, 이때 1은 GPU 전체가 아니라 파티션 하나를 뜻합니다. CPU 코어와 호스트 메모리는 따로 지정하고 InvokeEndpoint 요청 방식은 바뀌지 않습니다. 엔드포인트 프로비저닝 중 GPU 분할이 이뤄지며, 회사 테스트에서는 약 17초가 더 걸렸습니다.

사용 가능한 구성은 GPU에 따라 다릅니다. 40GB A100을 탑재한 P4d와 80GB H100을 탑재한 P5는 최대 7개 파티션을 지원합니다. 32GB RTX PRO 4500 Blackwell GPU를 쓰는 G7은 2개, 96GB RTX PRO 6000 Blackwell Server Edition GPU를 쓰는 G7e는 4개를 지원합니다. 구성 이름은 연산 단위와 GPU 메모리를 나타내며, 한 구성의 파티션 합계는 GPU 한 대가 제공하는 두 자원을 넘을 수 없습니다. P4d에서 mig-1g.10gb를 쓰려면 NVIDIA 드라이버 R525 이상이 필요합니다. 기본 이미지에는 드라이버 470.256.02가 포함되며, al2023-ami-sagemaker-inference-gpu-4-1은 580 드라이버를 제공합니다.

구성 선택은 작업 부하에 달려 있습니다. 연산 자원은 프롬프트를 처리하는 프리필을 지원하고, GPU 메모리는 토큰 생성에 쓰이며 KV 캐시 용량, 문맥 길이와 동시 시퀀스 수를 제한합니다. FP16 형식의 8B 모델은 가중치에 약 16GB를 사용하고, KV 캐시와 실행 중 필요한 메모리 1~2GB가 추가로 필요합니다. 글은 이 모델이 40GB 파티션에서 8,000토큰 문맥을 처리할 수 있다고 설명합니다.

게시물은 소형·중형 모델 포트폴리오, 고객별 모델 서비스, 여러 단계의 처리 파이프라인, 요청 경로의 소형 분류기, 카나리 모델을 활용 사례로 꼽습니다. GPU 파티션은 GPU 메모리와 처리량을 격리하지만, 같은 인스턴스의 모델은 호스트 CPU, 시스템 메모리, 저장장치, 네트워크와 엔드포인트 라우팅을 공유합니다. 성능 비교를 위해 AWS는 H100의 mig-3g.40gb 파티션 하나와 분할하지 않은 A100-40GB 전체를 같은 클라이언트의 genai-bench 부하 생성으로 시험했습니다. 제공된 글은 비교 결과를 싣기 전에 끝납니다.