AI 용어
이기종 GPU 메모리 할당
Heterogeneous GPU memory allocation
이기종 GPU 메모리 할당 뜻
서로 다른 GPU 메모리 자원에 작업과 데이터를 배분하는 방식입니다.
다른 언어 표기와 설명
- 日本語異種GPUメモリー割り当て
- 性能や容量の異なるGPU間で、メモリーを用途に応じて割り当てることです。
- EnglishHeterogeneous GPU memory allocation
- Assigning memory across different types or configurations of graphics processors to support a computing workload.
관련 용어
- 이질적 컴퓨팅서로 다른 특성을 가진 여러 종류의 프로세서나 연산 자원을 함께 사용하여 컴퓨팅 성능과 효율을 최적화하는 방식이다.
- 통합 메모리CPU와 GPU 등 서로 다른 프로세서가 동일한 메모리 공간을 공유하여 데이터 전송 효율을 높이는 메모리 아키텍처
- GPU ManagementGPU 클러스터에서 작업 배치, 우선순위, 자원 할당을 조정하는 운영 방식
- 오프로딩 전략연산이나 데이터를 GPU, CPU, 저장장치 등 다른 자원으로 분산하는 실행 방식
- 통합 메모리 아키텍처CPU와 GPU 같은 처리 장치가 별도 메모리 대신 하나의 메모리 풀을 공유하는 컴퓨터 설계
- Pooled Memory여러 메모리를 하나의 자원 풀로 묶어 여러 컴퓨터가 용량을 나누어 쓰게 하는 기술입니다.
- GPU virtualization물리 GPU 자원을 여러 작업이나 사용자에게 나눠 가상 자원처럼 사용할 수 있게 하는 기술입니다.
- 멀티 인스턴스 GPU하나의 물리 GPU를 여러 독립 실행 파티션으로 나누는 기술입니다.
- CUDA IPCCUDA 프로세스 간 통신 기능으로, 여러 프로세스가 GPU 메모리 핸들을 공유할 수 있게 한다
- GPU 연산 위임자인공지능 모델의 연산을 CPU 대신 GPU가 처리하도록 연결하는 구성 요소입니다.
- KV 캐시 오프로딩GPU 메모리에서 밀려난 키·값 캐시를 다른 메모리에 보관하고 필요할 때 다시 불러오는 방식입니다.
- 레이어 단위 오프로딩추론이나 학습 중 필요에 따라 모델 레이어를 GPU와 CPU 메모리 사이로 옮겨 GPU 메모리 사용량을 줄이는 기법입니다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요