논문, DeepSeek 비공개 배포 구조 제안

송탕의 논문은 컴퓨터 AI 시스템에서 DeepSeek를 비공개로 배포하는 AI 중심 구조를 제안합니다. 대규모 언어 모델의 성능과 현장 엔지니어링 배포 사이의 간극을 줄이는 것이 목표입니다. 설계에는 양자화 인식 모델 로딩, 이기종 GPU 메모리 할당, KV 캐시 재사용, 검색 증강 생성, 의미 기반 재순위화, 요청 인식 추론 스케줄링, 정책 기반 보안 라우팅이 포함됩니다.

시스템은 모델 추론, 벡터 검색, 캐시 업데이트, 접근 제어, 장애 격리를 하나의 서비스 그래프로 연결합니다. 시험에는 질문·답변, 분야별 문서 검색, 여러 차례 이어지는 추론 요청을 섞어 사용했습니다. 동시 요청이 20건에서 100건으로 늘자 평균 응답 지연시간은 0.82초에서 1.94초로 증가했으며, 동시 요청 60건에서는 1.30초 미만을 유지했습니다.

전체 배포 방식을 적용했을 때 처리량은 초당 79건으로, 단일 노드 배포보다 88.1% 높았습니다. 논문은 이 방식이 분야 지식에 맞춰 조정되는 안전하고 효율적인 배포를 지원하며, 지속 운영 중에도 로컬 데이터 경계를 지키고 추론 제어 과정을 추적할 수 있다고 설명합니다.

송탕의 논문은 컴퓨터 AI 시스템에서 DeepSeek를 비공개로 배포하는 AI 중심 구조를 제안합니다. 대규모 언어 모델의 성능과 현장 엔지니어링 배포 사이의 간극을 줄이는 것이 목표입니다. 설계에는 양자화 인식 모델 로딩, 이기종 GPU 메모리 할당, KV 캐시 재사용, 검색 증강 생성, 의미 기반 재순위화, 요청 인식 추론 스케줄링, 정책 기반 보안 라우팅이 포함됩니다.

시스템은 모델 추론, 벡터 검색, 캐시 업데이트, 접근 제어, 장애 격리를 하나의 서비스 그래프로 연결합니다. 시험에는 질문·답변, 분야별 문서 검색, 여러 차례 이어지는 추론 요청을 섞어 사용했습니다. 동시 요청이 20건에서 100건으로 늘자 평균 응답 지연시간은 0.82초에서 1.94초로 증가했으며, 동시 요청 60건에서는 1.30초 미만을 유지했습니다.

전체 배포 방식을 적용했을 때 처리량은 초당 79건으로, 단일 노드 배포보다 88.1% 높았습니다. 논문은 이 방식이 분야 지식에 맞춰 조정되는 안전하고 효율적인 배포를 지원하며, 지속 운영 중에도 로컬 데이터 경계를 지키고 추론 제어 과정을 추적할 수 있다고 설명합니다.