TPU v2에서 Ironwood까지: Google의 학습용 슈퍼컴퓨터 5세대에 걸친 아키텍처 안정성, 규모, 회복 탄력성, 전력 효율성 및

이 논문(IEEE Micro 매거진 2026년 7/8월호 게재 예정)은 TPU v2부터 Ironwood에 이르기까지 Google의 TPU 5세대를 요약하며, AI 학습을 위한 확장 가능하고(scalable), 회복 탄력적이며(resilient), 전력 효율적이고(power-efficient), 지속 가능한(sustainable) 슈퍼컴퓨터로서의 진화를 강조합니다. 이 논문은 Transformer의 부상과 같이 급격하게 변화하는 심층 신경망 (Deep Neural Network) 워크로드를 놀라울 정도로 쉽게 수용해 온 TPU의 안정적인 아키텍처를 상세히 설명합니다. 8년에 걸친 주요 발전 사항으로는 노드당 HBM 용량 및 대역폭의 10배 증가, 피크 노드 성능의 100배 증가, 그리고 슈퍼컴퓨터 성능의 3600배 증가가 포함됩니다. 또한 이 논문은 회복 탄력성을 향상시키는 광 회로 스위치 (Optical Circuit Switches), 내장 자가 테스트 (Built-in Self Test), 하드웨어 리플레이 (Hardware Replay)의 역할을 논의하며, 와트당 성능 (Performance per Watt) 및 부동 소수점 연산당 탄소 배출량 (Carbon Emissions per Floating Point Operation)의 상당한 개선을 통해 TPU의 환경적 영향이 어떻게 감소했는지 설명합니다. 마지막으로 이번 10년 동안 성공적인 학습 가속기 (Training Accelerators)를 특징지을 수 있는 6가지 요소를 식별하며 결론을 맺습니다.