AI 용어
시퀀스 병렬 처리
Sequence parallelism
시퀀스 병렬 처리 뜻
입력 시퀀스의 처리를 여러 장치에 나눠 수행하는 방식입니다.
다른 언어 표기와 설명
- 日本語シーケンス並列化
- 入力シーケンスを分割し、複数の計算装置で並行して処理する手法です。
- EnglishSequence parallelism
- A method that divides a sequence across multiple processors so they can process parts of it in parallel.
관련 용어
- 컨텍스트 병렬화긴 입력 시퀀스의 처리를 여러 장치에 나눠 수행하는 방식입니다.
- 파이프라인 병렬화딥러닝 모델의 레이어를 여러 개의 GPU에 나누어 할당하고 데이터를 순차적으로 처리하는 병렬 연산 기법
- 데이터 병렬 처리데이터를 나눠 여러 장치가 같은 모델 계산을 수행하는 방식입니다.
- 공간 병렬화이미지나 특징 맵의 공간 영역을 여러 장치에 나누어 처리하는 병렬화 방식
- Expert ParallelismMixture-of-Experts 모델의 각 전문가 파라미터를 여러 GPU에 나누어 배치하고 병렬로 처리하는 기술
- 단일 프로그램 다중 데이터여러 처리 장치가 같은 프로그램을 각기 다른 데이터에 동시에 적용하는 병렬 처리 방식입니다.
- 시간 분할여러 작업이 시간을 나눠 하나의 GPU를 번갈아 사용하는 방식입니다.
- Split computing기기와 연결된 다른 컴퓨터가 작업 연산을 나누어 처리하는 컴퓨팅 방식입니다.
- 텐서 병렬화모델의 연산 과정인 텐서 연산을 여러 GPU로 분할하여 병렬 처리함으로써 대규모 모델의 연산 효율을 높이는 기법
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요