AI用語
単一プログラム・複数データ
Single Program, Multiple Data (SPMD)
単一プログラム・複数データとは
同じプログラムを複数の処理装置で実行し、それぞれ異なるデータを処理する方式です。
他の言語での表記と説明
- 한국어단일 프로그램 다중 데이터
- 여러 처리 장치가 같은 프로그램을 각기 다른 데이터에 동시에 적용하는 병렬 처리 방식입니다.
- EnglishSingle Program, Multiple Data (SPMD)
- A parallel computing approach in which many devices run the same program on different portions of data.
関連用語
- SIMDSingle Instruction, Multiple Dataの略。一つの命令で複数のデータに対して同時に演算を行う並列処理の方式。
- データ並列処理データを分割して複数の計算装置で同時に処理する方式です。
- 空間並列処理画像や特徴マップの空間領域を分割し、複数デバイスで同時に処理する並列化手法
- シーケンス並列化入力シーケンスを分割し、複数の計算装置で並行して処理する手法です。
- コンテキスト並列化長い系列を複数の計算装置に分けて処理する方式です。
- エキスパート並列化混合エキスパートモデルにおいて、各エキスパートを異なる計算ノードやGPUに分散して配置し、並列に処理を行う技術。
- SIMT単一の命令を多数のスレッドで同時に実行する並列処理方式。GPUで同種の計算を大量に処理する際に使われる
- FSDPモデルのデータやパラメータを複数のGPUに分割して保持し、メモリ効率を最大化する分散学習手法
- 共有メモリ複数のプロセスが共通してアクセスできるように設定された主記憶装置(メインメモリ)の一部。プロセス間での高速なデータ受け渡しに用いられる。
最も速く正確なAIニュースをメールでいかがですか?