입력 캐시

입력 캐시 뜻

반복되는 입력 정보를 저장해 다시 계산하는 일을 줄이는 임시 저장 공간입니다.

다른 언어 표기와 설명

日本語入力キャッシュ

以前の入力データを保存し、再利用する仕組みです。

EnglishInput cache

Stored representations of earlier input tokens that a model can reuse to avoid processing them again.

관련 용어

• 캐시 읽기저장된 입력 정보를 다시 불러와 처리하는 작업입니다.
• 컨텍스트 캐싱이전에 처리한 데이터를 일시적으로 저장하여 재사용함으로써 모델의 추론 비용과 시간을 절감하는 기술
• 키-값 캐싱이전 토큰의 어텐션 계산 결과를 저장해 반복 계산을 줄이는 기법이다
• 키-값 캐시트랜스포머 모델이 문맥 정보를 빠르게 참조할 수 있도록 이전 토큰의 계산 결과를 저장해 두는 메모리 공간
• Prefix Caching반복되는 텍스트 입력값의 계산 결과를 캐시에 저장하여 AI 모델의 추론 속도를 높이고 비용을 줄이는 기술이다.
• 토큰 캐싱대규모 언어 모델에서 최근 처리된 입력 데이터의 연산 결과를 저장해 두었다가 재사용함으로써 처리 속도를 높이고 비용을 절감하는 기술이다.
• 메모리 뱅크학습에 유용했던 과거의 경험이나 데이터를 일시적으로 저장하여 효율을 높이는 보조 저장 공간
• KV-cache모델 추론 시 이전에 계산된 키(Key)와 값(Value) 행렬을 메모리에 저장하여 중복 연산을 줄이고 속도를 높이는 기술이다.