PyTorch 생태계의 대규모 업데이트: TorchTPU를 통한 훈련 및 추론 가속화

요약

PyTorch 생태계가 TorchTPU를 오픈 소스화하여 Cloud TPU 및 사용자 지정 인프라 전반에 걸쳐 네이티브 하드웨어 가속화를 제공합니다. 이를 통해 고처리량 추론을 위한 Pallas 커널과 Zero-copy KV 캐시 전송 기능을 지원하며, Graph Trainer 기반의 프로덕션급 분산 훈련 환경도 구축했습니다.

핵심 포인트

• TorchTPU 오픈 소스화로 TPU 기반 네이티브 가속 구현
• Pallas 커널 및 Zero-copy KV 캐시 전송으로 추론 성능 극대화
• Graph Trainer를 통한 프로덕션급 분산 훈련 환경 제공
• dense, MoE, 확산 모델 등 대규모 레시피 라이프사이클 관리 가능