예전에는 TPU에서 PyTorch를 실행하려면 XLA와 씨름해야 했는데, 드디어 공식 지원이 생긴 것 같음!
하드웨어별 세부 구현이 대부분 Pallas나 CUDA 같은 커널 계층에 있다면, 이제 JAX와 PyTorch 중 무엇을 쓸지는 주로 코딩 스타일 취향의 차이일까?
XLA는 꽤 훌륭하며, Inductor보다 나은 컴파일러 기반이 될 가능성도 있어 모든 하드웨어에서 성능 향상으로 이어질 수 있음.
이번 일이 TensorFlow의 퇴장에 결정타가 될 것 같기도 함.
Google 말고 TPU를 보유한 곳이 어디인지 궁금함. 상용으로 구매할 수 있는 곳이 있는지, 현재 Google 밖에서는 주로 어떤 용도로 쓰는지?
클라우드에서 빌릴 수 있고, Anthropic에 직접 판매하기도 함. Anthropic이 Trainium 및 GPU와 함께 TPU를 대규모로 사용하는 것은 잘 알려져 있음.
IoT용 제품도 판매함.
Google은 클라우드 서비스뿐 아니라 일부 파트너에게 실물 하드웨어를 판매하는 방식으로 TPU라는 곡괭이를 팔고 있으니, 이번 행보는 타당함.
곡괭이는 넘쳐나게 될 것임. Nebius는 이미 열풍이 절정이던 고점에서 거의 절반 가까이 하락함.
가까운 시일 내에 곡괭이 공급이 넘쳐날 것 같지는 않음.
Google Cloud 밖에서도 TPU를 쓸 수 있는지?
가능함. Google은 Anthropic 같은 대형 고객에게 온프레미스용 TPU를 판매하고 있으며, Crux AI도 바로 그 사업을 하려는 신생 기업임.
Google Coral의 USB 및 M.2 기기도 TPU임.
마케팅일 수도 있지만, Pixel 휴대전화의 NPU도 “TPU”라고 부름.
TPU, 신경망 연산 가속기, 수학 보조 프로세서라는 범주로 볼 수 있음. OpenTPU는 Google TPU를 오픈소스로 재구현한 프로젝트임. https://news.ycombinator.com/item?id=44111452 https://news.ycombinator.com/item?id=45848676에서는 44GB의 ‘L2’ 온칩 SRAM을 탑재한 Cerebras WSE-3를 Google과 Tesla의 TPU, NorthPole, Groq LPU, Tenstorrent 및 AMD의 NPU 설계와 비교하면 어떨지 묻고 있음.
표준 반도체 공정으로 탄화규소를 사용해 만든 TPU도 있음. 이동 중인 광자로 텐서 연산을 하는 기술도 있지만, 이를 TPU라고 하기는 어려움.
Linux 드라이버를 사용할 수 있는지?
AI 엔지니어가 아니라 기초적인 질문일 수 있는데, 이번 발표는 오늘 DeepSeek이 추론 엔진을 오픈소스로 공개한 것에 대한 Google의 대응인가?
Google 같은 대기업이 그런 식으로 뉴스에 즉각 대응하지는 않을 것 같음. 수주 전부터 화요일 공개를 예정해 두었고, 다른 소식과 우연히 시점이 겹쳤을 가능성이 높음.
서로 목표가 전혀 다름.
학습과 추론이라는 서로 다른 계층에서 다른 역할을 함. TorchTPU는 Google 외부에도 TPU 칩을 판매하려는 만큼, 더 많은 개발자가 TPU에 익숙해지도록 하려는 행보에 가까워 보임.