딥시크, 추론 프레임워크 딥인퍼 공개

딥시크는 20일(현지시간) 깃허브를 통해 자체 AI 모델을 서비스 환경에서 실행하는 추론 프레임워크 딥인퍼(DeepInfer)를 오픈소스로 공개했습니다. 딥시크는 실제 운영에 쓰는 추론 기술을 외부 개발자에게 개방해 모델 실행 비용을 낮추고 컴퓨팅 자원 활용 효율을 높이려는 취지라고 밝혔습니다. 딥인퍼는 딥시크-V4.1-플래시(DeepSeek-V4.1-Flash)의 운영 환경 실행을 지원하며, 엔비디아 SM100 GPU와 화웨이 어센드 950 NPU에서 사용할 수 있습니다. 공개된 버전은 오프라인 추론만 지원합니다.

현재 버전에는 실제 서비스 운영에 필요한 KV 캐시(앞선 계산 결과를 저장하는 메모리) 시스템, 프리필과 디코딩의 분리 처리, 로드 밸런싱이 포함되지 않아 별도 인프라 구축이 필요합니다. 딥시크가 공개한 측정에서 프리필은 GPU 4개, 디코딩은 GPU 64개로 시험했습니다. 입력 데이터를 처리하는 프리필과 응답 토큰을 생성하는 디코딩을 나눠 성능을 측정했습니다. 디코딩 시험에서 랭크당 동시 요청 256개 조건으로 GPU 한 개가 초당 2만5000개가 넘는 출력 토큰을 처리했습니다. 딥시크는 단일 클러스터가 하루 155조 개 토큰을 처리할 수 있다고 설명했지만, 이는 자체 측정이며 다른 추론 프레임워크와 같은 조건에서 비교한 독립 검증은 아닙니다.

배치 크기를 키우면 전체 처리량은 늘었지만, 일정 수준을 넘으면 처리량 증가가 둔화하고 대기 시간이 크게 늘었습니다. 측정에서 데이터 단위를 4096에서 6만5536으로 키우자 GPU당 초당 처리량은 6만 개에서 8만9000개로 증가했고, 지연 시간은 70밀리초에서 730밀리초로 늘었습니다. 이 결과는 입력 단계를 국소적으로 측정한 것으로, 요청 접수부터 사용자가 첫 토큰을 받기까지의 서비스 전체 시간과는 다릅니다. 실제 서비스에서는 토큰화, 대기열, 캐시 조회, 네트워크 전송과 과거 입력 데이터의 재사용 여부도 효율에 영향을 줍니다.

딥인퍼는 어텐션 연산용 FlashMLA, 행렬 연산용 DeepGEMM, GPU 간 통신용 DeepEP 등 여러 GPU 커널과 시스템 최적화를 결합합니다. 전문가 혼합(MoE) 모델 연산을 여러 GPU에 분산하고 CPU 작업 스케줄링과 GPU 연산을 겹쳐 처리합니다. 추측 디코딩은 초안 모델이 만든 다음 토큰 후보를 주 모델이 검증해 응답 생성을 빠르게 하는 방식이며, 딥인퍼는 토큰별 수용 가능성을 반영해 검증 작업을 조절합니다. 다만 성능 개선 폭은 동시 요청 수와 작업 조건에 따라 달라질 수 있습니다.

긴 문맥 처리 부담을 낮추기 위해 슬라이딩 윈도 어텐션에서 최근 128개 토큰을 활용해 필요한 상태를 재구성하고 프리필 연산량을 줄인다고 딥시크는 설명했습니다. 정규식, JSON 스키마, EBNF 문법으로 출력 형식을 제한하는 기능도 제공합니다. 딥시크는 X에서 커뮤니티가 컴퓨팅 비용과 에너지 사용을 줄이고 AI를 더 저렴하게 이용하도록 실제 운영 스택을 공유한다고 밝혔습니다. 딥인퍼는 아파치 2.0 라이선스로 공개돼 개발자와 기업이 코드를 검토·수정해 자체 추론 환경에 활용할 수 있습니다.

딥시크는 20일(현지시간) 깃허브를 통해 자체 AI 모델을 서비스 환경에서 실행하는 추론 프레임워크 딥인퍼(DeepInfer)를 오픈소스로 공개했습니다. 딥시크는 실제 운영에 쓰는 추론 기술을 외부 개발자에게 개방해 모델 실행 비용을 낮추고 컴퓨팅 자원 활용 효율을 높이려는 취지라고 밝혔습니다. 딥인퍼는 딥시크-V4.1-플래시(DeepSeek-V4.1-Flash)의 운영 환경 실행을 지원하며, 엔비디아 SM100 GPU와 화웨이 어센드 950 NPU에서 사용할 수 있습니다. 공개된 버전은 오프라인 추론만 지원합니다.

현재 버전에는 실제 서비스 운영에 필요한 KV 캐시(앞선 계산 결과를 저장하는 메모리) 시스템, 프리필과 디코딩의 분리 처리, 로드 밸런싱이 포함되지 않아 별도 인프라 구축이 필요합니다. 딥시크가 공개한 측정에서 프리필은 GPU 4개, 디코딩은 GPU 64개로 시험했습니다. 입력 데이터를 처리하는 프리필과 응답 토큰을 생성하는 디코딩을 나눠 성능을 측정했습니다. 디코딩 시험에서 랭크당 동시 요청 256개 조건으로 GPU 한 개가 초당 2만5000개가 넘는 출력 토큰을 처리했습니다. 딥시크는 단일 클러스터가 하루 155조 개 토큰을 처리할 수 있다고 설명했지만, 이는 자체 측정이며 다른 추론 프레임워크와 같은 조건에서 비교한 독립 검증은 아닙니다.

배치 크기를 키우면 전체 처리량은 늘었지만, 일정 수준을 넘으면 처리량 증가가 둔화하고 대기 시간이 크게 늘었습니다. 측정에서 데이터 단위를 4096에서 6만5536으로 키우자 GPU당 초당 처리량은 6만 개에서 8만9000개로 증가했고, 지연 시간은 70밀리초에서 730밀리초로 늘었습니다. 이 결과는 입력 단계를 국소적으로 측정한 것으로, 요청 접수부터 사용자가 첫 토큰을 받기까지의 서비스 전체 시간과는 다릅니다. 실제 서비스에서는 토큰화, 대기열, 캐시 조회, 네트워크 전송과 과거 입력 데이터의 재사용 여부도 효율에 영향을 줍니다.

딥인퍼는 어텐션 연산용 FlashMLA, 행렬 연산용 DeepGEMM, GPU 간 통신용 DeepEP 등 여러 GPU 커널과 시스템 최적화를 결합합니다. 전문가 혼합(MoE) 모델 연산을 여러 GPU에 분산하고 CPU 작업 스케줄링과 GPU 연산을 겹쳐 처리합니다. 추측 디코딩은 초안 모델이 만든 다음 토큰 후보를 주 모델이 검증해 응답 생성을 빠르게 하는 방식이며, 딥인퍼는 토큰별 수용 가능성을 반영해 검증 작업을 조절합니다. 다만 성능 개선 폭은 동시 요청 수와 작업 조건에 따라 달라질 수 있습니다.

긴 문맥 처리 부담을 낮추기 위해 슬라이딩 윈도 어텐션에서 최근 128개 토큰을 활용해 필요한 상태를 재구성하고 프리필 연산량을 줄인다고 딥시크는 설명했습니다. 정규식, JSON 스키마, EBNF 문법으로 출력 형식을 제한하는 기능도 제공합니다. 딥시크는 X에서 커뮤니티가 컴퓨팅 비용과 에너지 사용을 줄이고 AI를 더 저렴하게 이용하도록 실제 운영 스택을 공유한다고 밝혔습니다. 딥인퍼는 아파치 2.0 라이선스로 공개돼 개발자와 기업이 코드를 검토·수정해 자체 추론 환경에 활용할 수 있습니다.