Together Compiler, 메가커널보다 28% 빠른 추론
- •Together Compiler, B200에서 Llama 3.2 1B 초당 2,118토큰 처리
- •CUDA Graphs와 PDL을 적용한 기본 Torch Inductor 커널, 메가커널 성능의 98% 회복
- •Inductor의 튜닝 플래그 607개와 단독 벤치마크, 작업별 속도 저하와 커널 선택 오류 유발
Together AI는 AI 에이전트가 모델의 순전파 과정에서 GPU 커널을 다시 작성하고 결합하는 Together Compiler를 공개했습니다. 회사에 따르면 B200 GPU에서 Llama 3.2 1B를 초당 2,118토큰 처리했으며, 이는 직접 작성한 메가커널의 초당 1,649토큰보다 28% 빠른 속도입니다. 이 컴파일러는 모델 구조, 배치 크기, 시퀀스 길이와 하드웨어가 달라져도 추론 최적화가 작동하게 하려는 실험에서 출발했습니다.
지난해 Together는 모델의 순전파 전체를 실행하는 단일 고융합 GPU 커널인 메가커널 공개를 도왔습니다. 기록적인 속도를 냈지만, 실제 서비스에 맞추는 데 수개월이 걸린 뒤에도 모델 하나, 배치 크기 하나, 고객 하나에만 적용됐습니다. 이후 팀은 기본 Torch Inductor 커널에 CUDA Graphs(GPU 커널 실행 요청의 부담을 줄이는 방식)와 PDL을 적용해 커널을 직접 작성하지 않고도 메가커널 성능의 98%를 회복했습니다. 멀티커널과 에이전트 반복 과정을 더하자 이전 메가커널보다 최대 1.7배 빨라졌고, H100에서 Llama 1B 처리량은 초당 1,100토큰을 넘었습니다.
개발팀은 PyTorch의 즉시 실행 컴파일러인 Torch Compile과 그 구성 요소인 Inductor를 조사했습니다. 팀이 사용한 Llama 1B 작업에서 Inductor는 초당 669토큰을 처리했습니다. 튜닝 설정은 작업 조건에 크게 좌우됐습니다. 가중치 고정 설정은 큰 배치에서 처리량을 10~26% 높였지만, 배치 크기가 1일 때는 속도를 49% 떨어뜨렸습니다. 2026년 3분기 기준 Inductor에는 튜닝 플래그가 607개 있었고, 그중 198개는 전년도에 추가됐습니다. 설정 조합에 따라 결과도 달라졌습니다. 공격적인 융합만 적용하면 처리량이 초당 6토큰 줄었지만, 다른 플래그 3개와 함께 쓰면 초당 3토큰 늘었습니다.
팀은 커널을 따로 측정한 결과가 실제 추론 성능을 안정적으로 예측하지 못한다는 점도 발견했습니다. Inductor 벤치마크에서 일부 커널은 실제 순전파 중보다 39~58% 느리게 측정됐습니다. 길이 64K 토큰 시퀀스에서는 0으로 채운 토큰 ID를 사용한 임베딩 조회가 무작위 ID를 쓴 경우보다 2.1배 빠르게 나왔습니다. 일부 측정에서는 벤치마크 오버헤드가 약 3.6마이크로초였습니다. Llama 1B에서 Inductor가 선택한 Triton 출력 투영 커널은 실제 추론 중 7.4마이크로초가 걸렸고, cuBLAS는 6.4마이크로초가 걸려 전자가 15% 느렸습니다. GLM 5.3에서는 무작위 입력을 쓰자 MoE 그룹형 행렬 곱셈 측정값이 현실적인 입력을 사용한 테스트보다 4~21% 느려졌습니다.
Inductor의 탐욕적 쌍별 융합은 GPU 사용률을 고려해야 찾을 수 있는 결합 기회도 놓쳤습니다. Llama 1B 사례에서는 6개 CTA로 실행되는 활성화 커널이 GPU의 스트리밍 멀티프로세서 132개 대부분을 놀리는 동안 별도 인덱싱 커널이 이어졌습니다. 두 커널이 메모리를 공유하지 않아 컴파일러는 이들을 결합하지 않았습니다. Together는 융합 판단에 GPU 사용률을 반영하고, 순전파 안에서 실제 입력 데이터로 벤치마크해야 한다고 밝혔습니다. 기사는 GPU 프로그래밍과 최적화 시스템을 2년간 연구한 뒤 지속적인 추론 최적화를 위한 프레임워크로 Together Compiler를 만들었다고 설명합니다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요