AI 용어
KV 캐시 오프로딩
KV cache offloading
KV 캐시 오프로딩 뜻
GPU 메모리에서 밀려난 키·값 캐시를 다른 메모리에 보관하고 필요할 때 다시 불러오는 방식입니다.
다른 언어 표기와 설명
- 日本語KVキャッシュのオフロード
- GPUメモリーから退避したキー・バリュー情報を別のメモリーに保存し、必要時に戻す仕組みです。
- EnglishKV cache offloading
- A technique that moves cached attention data from GPU memory to host memory and reloads it when needed.
관련 용어
- 레이어 단위 오프로딩추론이나 학습 중 필요에 따라 모델 레이어를 GPU와 CPU 메모리 사이로 옮겨 GPU 메모리 사용량을 줄이는 기법입니다.
- 오프로딩 전략연산이나 데이터를 GPU, CPU, 저장장치 등 다른 자원으로 분산하는 실행 방식
- 호스트-장치 전송CPU가 관리하는 메모리에서 가속기 장치 메모리로 데이터를 복사하는 작업입니다.
- Zero-copy데이터를 메모리 간에 복사하는 과정을 생략하여 시스템 효율과 로딩 속도를 높이는 데이터 전송 기술이다.
- 컴퓨트 인 메모리데이터 저장 장치 내에서 직접 연산을 수행해 처리 속도를 높이고 데이터 이동에 따른 전력 소모를 줄이는 컴퓨팅 아키텍처
- 통합 메모리CPU와 GPU 등 서로 다른 프로세서가 동일한 메모리 공간을 공유하여 데이터 전송 효율을 높이는 메모리 아키텍처
- 니어 메모리프로세서와 메모리 사이의 거리를 좁혀 데이터 전송 시 발생하는 병목 현상과 전력 소모를 줄이는 설계 방식
- 이기종 GPU 메모리 할당서로 다른 GPU 메모리 자원에 작업과 데이터를 배분하는 방식입니다.
- TCP 기반 NVMeTCP 네트워크를 통해 NVMe 저장 장치에 연결하는 프로토콜입니다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요