구글, TPU용 토치TPU 오픈소스 공개

구글은 20일(현지시간) 열린 ‘파이토치 컨퍼런스 2026’에서 TPU용 파이토치 소프트웨어 스택인 토치TPU(TorchTPU)를 오픈소스로 공개했습니다. 메타의 파이토치 개발팀과 공동 개발한 이 도구는 기존 파이토치 API를 유지하며 TPU에서 모델 학습과 추론, 배포를 지원합니다. 개발자는 코드를 최소한으로 바꿔 기존 애플리케이션을 TPU에서 실행할 수 있습니다.

토치TPU는 일반 실행 모드에서 모델 오류를 확인하고 ‘torch.compile’로 성능을 최적화하는 기능, 분산 학습과 진단 도구를 제공합니다. 구글은 허깅페이스와 협력해 트랜스포머스(Transformers) v5에서 ‘device_map="tpu"’ 설정으로 모델을 TPU에 배치하도록 했습니다. 이미지 생성 도구 디퓨저스(Diffusers)는 일반 실행과 컴파일 최적화, 여러 칩에 모델을 나누는 텐서 병렬 처리를 지원하며, 허깅페이스 모델을 TPU 인프라에서 지속적으로 시험하는 체계도 마련했습니다.

구글은 대규모 모델 추론 도구 vLLM과 SGLang의 TPU 백엔드도 인퍼랙트(Inferact), 라딕스아크(RadixArk)와 협력해 구축했습니다. 기존 스케줄러와 API 서버를 유지하면서 TPU에 맞게 연산을 최적화하도록 했습니다. 여러 서버에 추론 요청을 배분하는 쿠버네티스 기반 시스템 llm-d는 1.0 버전으로 공개됐습니다. 이미 문맥이 저장된 서버로 요청을 보내고 입력 처리인 프리필과 답변 생성인 디코딩을 분리합니다. 구글 클라우드의 쿠버네티스 엔진(GKE)에서는 공통 인터페이스로 GPU와 TPU를 사용할 수 있습니다.

학습 프레임워크 토치타이탄(TorchTitan)에도 TPU 지원이 통합됐습니다. 구글은 ‘큐원 3 8B’ 학습에서 실제 학습에 활용한 이론상 연산 성능의 비율인 모델 연산 활용률(MFU)이 최대 52%였다고 밝혔습니다. 아이언우드(Ironwood) TPU를 8192개까지 늘렸을 때 칩 수 증가에 거의 비례해 성능이 향상됐다고도 설명했습니다. 강화학습 프레임워크 VeRL에는 TPU 백엔드와 참고용 구성이 추가됐으며, 레이(Ray)는 CPU·GPU·TPU를 데이터 처리, 학습, 강화학습, 추론 단계에 배정해 하나의 작업 흐름에서 함께 쓰도록 지원합니다.

구글은 초기 설정과 오류 진단, 사용 질문, 추론 성능 조정을 돕는 TPU 에이전트 스위트(TPU Agent Suite) 프리뷰를 깃허브에서 제공했습니다. 온디바이스 추론 도구 라이트RT(LiteRT)와 파이토치 모델을 연결하는 라이트RT-토치(LiteRT-Torch)도 공개했습니다. 모델을 변환해 안드로이드, iOS, 윈도, 맥OS, 리눅스, 웹, 사물인터넷 기기에서 실행하고 기기의 CPU·GPU·신경망처리장치(NPU)를 활용하도록 합니다.

아마존은 전날 자체 AI 칩 트레이니엄에서 파이토치 코드를 실행하는 토치뉴런(TorchNeuron)을 발표했고, 20일부터 공개 베타로 제공한다고 밝혔습니다. 아마존은 설정 하나를 바꾸면 코드를 다시 작성하지 않고 트레이니엄을 사용할 수 있다고 설명했습니다. 파이토치는 AI 모델 개발과 학습에 널리 쓰이는 오픈소스 프레임워크이며, 엔비디아 GPU와 CUDA에 맞춘 코드와 도구가 많아 다른 칩으로 옮길 때 추가 작업이 필요했습니다. 구글과 아마존은 이 전환 부담을 줄여 자체 칩 활용을 넓히려 합니다.

구글은 20일(현지시간) 열린 ‘파이토치 컨퍼런스 2026’에서 TPU용 파이토치 소프트웨어 스택인 토치TPU(TorchTPU)를 오픈소스로 공개했습니다. 메타의 파이토치 개발팀과 공동 개발한 이 도구는 기존 파이토치 API를 유지하며 TPU에서 모델 학습과 추론, 배포를 지원합니다. 개발자는 코드를 최소한으로 바꿔 기존 애플리케이션을 TPU에서 실행할 수 있습니다.

토치TPU는 일반 실행 모드에서 모델 오류를 확인하고 ‘torch.compile’로 성능을 최적화하는 기능, 분산 학습과 진단 도구를 제공합니다. 구글은 허깅페이스와 협력해 트랜스포머스(Transformers) v5에서 ‘device_map="tpu"’ 설정으로 모델을 TPU에 배치하도록 했습니다. 이미지 생성 도구 디퓨저스(Diffusers)는 일반 실행과 컴파일 최적화, 여러 칩에 모델을 나누는 텐서 병렬 처리를 지원하며, 허깅페이스 모델을 TPU 인프라에서 지속적으로 시험하는 체계도 마련했습니다.

구글은 대규모 모델 추론 도구 vLLM과 SGLang의 TPU 백엔드도 인퍼랙트(Inferact), 라딕스아크(RadixArk)와 협력해 구축했습니다. 기존 스케줄러와 API 서버를 유지하면서 TPU에 맞게 연산을 최적화하도록 했습니다. 여러 서버에 추론 요청을 배분하는 쿠버네티스 기반 시스템 llm-d는 1.0 버전으로 공개됐습니다. 이미 문맥이 저장된 서버로 요청을 보내고 입력 처리인 프리필과 답변 생성인 디코딩을 분리합니다. 구글 클라우드의 쿠버네티스 엔진(GKE)에서는 공통 인터페이스로 GPU와 TPU를 사용할 수 있습니다.

학습 프레임워크 토치타이탄(TorchTitan)에도 TPU 지원이 통합됐습니다. 구글은 ‘큐원 3 8B’ 학습에서 실제 학습에 활용한 이론상 연산 성능의 비율인 모델 연산 활용률(MFU)이 최대 52%였다고 밝혔습니다. 아이언우드(Ironwood) TPU를 8192개까지 늘렸을 때 칩 수 증가에 거의 비례해 성능이 향상됐다고도 설명했습니다. 강화학습 프레임워크 VeRL에는 TPU 백엔드와 참고용 구성이 추가됐으며, 레이(Ray)는 CPU·GPU·TPU를 데이터 처리, 학습, 강화학습, 추론 단계에 배정해 하나의 작업 흐름에서 함께 쓰도록 지원합니다.

구글은 초기 설정과 오류 진단, 사용 질문, 추론 성능 조정을 돕는 TPU 에이전트 스위트(TPU Agent Suite) 프리뷰를 깃허브에서 제공했습니다. 온디바이스 추론 도구 라이트RT(LiteRT)와 파이토치 모델을 연결하는 라이트RT-토치(LiteRT-Torch)도 공개했습니다. 모델을 변환해 안드로이드, iOS, 윈도, 맥OS, 리눅스, 웹, 사물인터넷 기기에서 실행하고 기기의 CPU·GPU·신경망처리장치(NPU)를 활용하도록 합니다.

아마존은 전날 자체 AI 칩 트레이니엄에서 파이토치 코드를 실행하는 토치뉴런(TorchNeuron)을 발표했고, 20일부터 공개 베타로 제공한다고 밝혔습니다. 아마존은 설정 하나를 바꾸면 코드를 다시 작성하지 않고 트레이니엄을 사용할 수 있다고 설명했습니다. 파이토치는 AI 모델 개발과 학습에 널리 쓰이는 오픈소스 프레임워크이며, 엔비디아 GPU와 CUDA에 맞춘 코드와 도구가 많아 다른 칩으로 옮길 때 추가 작업이 필요했습니다. 구글과 아마존은 이 전환 부담을 줄여 자체 칩 활용을 넓히려 합니다.