AI 용어
단일 프로그램 다중 데이터
Single Program, Multiple Data (SPMD)
단일 프로그램 다중 데이터 뜻
여러 처리 장치가 같은 프로그램을 각기 다른 데이터에 동시에 적용하는 병렬 처리 방식입니다.
다른 언어 표기와 설명
- 日本語単一プログラム・複数データ
- 同じプログラムを複数の処理装置で実行し、それぞれ異なるデータを処理する方式です。
- EnglishSingle Program, Multiple Data (SPMD)
- A parallel computing approach in which many devices run the same program on different portions of data.
관련 용어
- SIMD하나의 명령어로 여러 데이터를 동시에 처리하는 병렬 처리 기술로, AI 연산이나 그래픽 처리 효율을 높이는 데 사용된다.
- 데이터 병렬 처리데이터를 나눠 여러 장치가 같은 모델 계산을 수행하는 방식입니다.
- 공간 병렬화이미지나 특징 맵의 공간 영역을 여러 장치에 나누어 처리하는 병렬화 방식
- 시퀀스 병렬 처리입력 시퀀스의 처리를 여러 장치에 나눠 수행하는 방식입니다.
- 컨텍스트 병렬화긴 입력 시퀀스의 처리를 여러 장치에 나눠 수행하는 방식입니다.
- Expert ParallelismMixture-of-Experts 모델의 각 전문가 파라미터를 여러 GPU에 나누어 배치하고 병렬로 처리하는 기술
- SIMT하나의 명령을 여러 스레드가 동시에 실행하는 병렬 처리 방식
- FSDP대규모 모델의 파라미터를 여러 GPU에 분산하여 메모리 부족 문제를 해결하는 데이터 병렬화 기술
- 공유 메모리여러 프로세스가 동시에 접근하여 데이터를 읽거나 쓸 수 있도록 운영체제가 제공하는 메모리 영역을 의미한다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요