오프로딩 전략

오프로딩 전략 뜻

연산이나 데이터를 GPU, CPU, 저장장치 등 다른 자원으로 분산하는 실행 방식

다른 언어 표기와 설명

日本語オフロード戦略

計算やデータをGPU、CPU、メモリ、ストレージなど別リソースへ移して処理する設計方針

EnglishOffloading strategy

Method for moving computation or data between hardware resources such as CPU, GPU and memory

관련 용어

• 레이어 단위 오프로딩추론이나 학습 중 필요에 따라 모델 레이어를 GPU와 CPU 메모리 사이로 옮겨 GPU 메모리 사용량을 줄이는 기법입니다.
• 통합 메모리CPU와 GPU 등 서로 다른 프로세서가 동일한 메모리 공간을 공유하여 데이터 전송 효율을 높이는 메모리 아키텍처
• GPU ManagementGPU 클러스터에서 작업 배치, 우선순위, 자원 할당을 조정하는 운영 방식
• Zero-copy데이터를 메모리 간에 복사하는 과정을 생략하여 시스템 효율과 로딩 속도를 높이는 데이터 전송 기술이다.
• 컴퓨트 인 메모리데이터 저장 장치 내에서 직접 연산을 수행해 처리 속도를 높이고 데이터 이동에 따른 전력 소모를 줄이는 컴퓨팅 아키텍처
• CUDA IPCCUDA 프로세스 간 통신 기능으로, 여러 프로세스가 GPU 메모리 핸들을 공유할 수 있게 한다
• 니어 메모리프로세서와 메모리 사이의 거리를 좁혀 데이터 전송 시 발생하는 병목 현상과 전력 소모를 줄이는 설계 방식
• 폰 노이만 구조메모리와 처리 장치를 분리해 명령어와 데이터를 순차적으로 처리하는 컴퓨터 구조
• 액체 냉각액체 냉매나 물을 사용해 컴퓨터 장비에서 발생한 열을 제거하는 냉각 방식
• BufferPool메모리 버퍼를 미리 확보해 재사용함으로써 할당 비용과 데이터 복사를 줄이는 관리 기법이다
• 통합 메모리 아키텍처CPU와 GPU 같은 처리 장치가 별도 메모리 대신 하나의 메모리 풀을 공유하는 컴퓨터 설계
• 시스토릭 배열데이터가 규칙적으로 흐르며 연산 장치들을 통과하는 하드웨어 구조