모든 AI 용어

AI 용어

KV 캐시 오프로딩

KV cache offloading

KV 캐시 오프로딩 뜻

GPU 메모리에서 밀려난 키·값 캐시를 다른 메모리에 보관하고 필요할 때 다시 불러오는 방식입니다.

다른 언어 표기와 설명

日本語KVキャッシュのオフロード
GPUメモリーから退避したキー・バリュー情報を別のメモリーに保存し、必要時に戻す仕組みです。
EnglishKV cache offloading
A technique that moves cached attention data from GPU memory to host memory and reloads it when needed.

AIB 뉴스레터를 구독하세요

가장 빠르고 정확한 AI 소식, 이메일로 받아보세요

카톡 문의