Google, 8세대 TPU 포트폴리오 확장 및 개발자용 소프트웨어 스택 개선 발표

요약

Google은 대규모 컨텍스트 창 및 안전한 추론에 특화된 TPU 8i Max와 TPU 8tx를 포함하여 8세대 TPU 포트폴리오 확장을 발표했습니다. 개발자 경험 개선을 위해 TorchTPU, 오픈 소스 TPU Sync 등을 제공하며, 이를 통해 PyTorch 모델 실행과 KV 전송 지연 시간 단축 등 효율적인 AI 구축 환경을 지원합니다.

핵심 포인트

• 대규모 컨텍스트 창에 최적화된 TPU 8i Max가 추가되었습니다.
• 안전하고 기밀성이 유지되는 추론(inference)용 TPU 8tx를 도입했습니다.
• TorchTPU로 PyTorch 및 Hugging Face 모델을 재작성 없이 실행할 수 있습니다.
• 오픈 소스 TPU Sync로 KV 전송 지연 시간을 90% 이상 단축합니다.
• Agent Compute Engine으로 유휴 컴퓨팅 자원 낭비를 제거했습니다.