AI 용어
컨텍스트 병렬화
Context parallelism
컨텍스트 병렬화 뜻
긴 입력 시퀀스의 처리를 여러 장치에 나눠 수행하는 방식입니다.
다른 언어 표기와 설명
- 日本語コンテキスト並列化
- 長い系列を複数の計算装置に分けて処理する方式です。
- EnglishContext parallelism
- A method that divides a long input sequence across multiple devices so each device processes only part of it.
관련 용어
- 시퀀스 병렬 처리입력 시퀀스의 처리를 여러 장치에 나눠 수행하는 방식입니다.
- 공간 병렬화이미지나 특징 맵의 공간 영역을 여러 장치에 나누어 처리하는 병렬화 방식
- 파이프라인 병렬화딥러닝 모델의 레이어를 여러 개의 GPU에 나누어 할당하고 데이터를 순차적으로 처리하는 병렬 연산 기법
- Expert ParallelismMixture-of-Experts 모델의 각 전문가 파라미터를 여러 GPU에 나누어 배치하고 병렬로 처리하는 기술
- 데이터 병렬 처리데이터를 나눠 여러 장치가 같은 모델 계산을 수행하는 방식입니다.
- Split computing기기와 연결된 다른 컴퓨터가 작업 연산을 나누어 처리하는 컴퓨팅 방식입니다.
- 단일 프로그램 다중 데이터여러 처리 장치가 같은 프로그램을 각기 다른 데이터에 동시에 적용하는 병렬 처리 방식입니다.
- 텐서 병렬화모델의 연산 과정인 텐서 연산을 여러 GPU로 분할하여 병렬 처리함으로써 대규모 모델의 연산 효율을 높이는 기법
- 시간 분할여러 작업이 시간을 나눠 하나의 GPU를 번갈아 사용하는 방식입니다.
- SIMT하나의 명령을 여러 스레드가 동시에 실행하는 병렬 처리 방식
- 분산 학습하나의 거대한 장치 대신 여러 대의 컴퓨터나 서버에 계산 작업을 나누어 대규모 인공지능 모델을 학습시키는 방식
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요