원래 The Daily Flare에 게재됨.
Google은 지난 11월 9일 새로운 TPU 8tx confidential-AI 시스템이 가속기(accelerator)를 Axion 프로세서 대신 5세대 AMD EPYC 호스트 CPU와 결합할 것이라고 발표했습니다.
이 발표는 TechRadar가 11월 15일에 분석 기사를 게재하기 6일 전에 이루어졌습니다. TPU 8tx는 학습(training)을 위해 설계된 Google의 TPU 8t와 동일한 가속기 실리콘을 사용하지만, 기밀 워크로드(confidential workloads)를 위해 호스트 프로세서와 네트워크 구성을 변경했습니다.
Google은 2026년 4월에 8세대 TPU 8t와 TPU 8i를 소개했습니다. 8t는 대규모 모델 학습을 목표로 하며, 8i는 추론(inference), 샘플링 및 추론(reasoning)용으로 설계되었습니다. 두 시스템 모두 호스트로 Google의 Arm 기반 Axion CPU를 사용합니다. 새로운 8tx 구성은 규제 산업체와 정부 고객의 작업을 포함하여 기밀 추론 및 소규모 학습을 위해 설계되었습니다.
대만 매체 INSIDE에 따르면, 8tx는 TPU 8t의 12.6 petaflops FP4 컴퓨팅 성능과 216GB 고대역폭 메모리(high-bandwidth memory)를 유지하는 동시에, 8i에서 사용되는 Boardfly 네트워크를 채택했습니다. Google은 수정된 시스템이 거의 제로에 가까운 성능 저하로 8t의 지연 시간 성능을 최대 두 배까지 제공할 수 있다고 밝혔습니다. 이 수치는 독립적으로 보고된 테스트 결과가 아닌 Google의 주장입니다.
AMD는 EPYC 프로세서가 워크로드를 조정하고, 데이터를 준비하며, TPU 가속기와의 고처리량 통신(high-throughput communication)을 제공한다고 말했습니다. 이는 TPU의 AI 처리 역할을 대체하는 것은 아닙니다. 호스트와 가속기의 배열은 시스템의 confidential-computing 설계에 핵심적입니다. AMD는 자체 Secure Encrypted Virtualization 기술이 연결된 가속기까지 보호 범위를 확장하기 위해 TPU 환경과 작동한다고 밝혔습니다.
AMD의 설명에 따르면, 해당 시스템은 가속기의 신원과 보안 구성을 확인한 후에 보호 메모리에 직접 접근 권한을 부여합니다. AMD는 프롬프트(prompts), 모델 가중치(model weights) 및 중간 데이터가 호스트 메모리 내에서 그리고 호스트와 가속기 간 이동 중에도 암호화된 상태로 유지되며, 가속기 실행 중에는 하드웨어 격리가 이루어진다고 밝혔습니다. Google은 이 시스템을 “활성 사용 중일 때조차 민감한 데이터와 모델 가중치를 보호하고 격리하는 방식”이라고 설명했습니다.
TechRadar는 EPYC를 사용한 이유가 Google의 기존 기밀 컴퓨팅(confidential-computing) 지원 때문일 가능성이 높다고 지적했습니다. Google의 문서에는 AMD Secure Encrypted Virtualization 및 Intel Trust Domain Extensions을 기반으로 한 Confidential VM 구성이 나열되어 있습니다. 이 문서에는 Axion 기반 C4A 또는 N4A 인스턴스는 포함되어 있지 않으며, 현재 TPU가 Confidential VM에 연결될 수 없다고 명시하고 있습니다.
이러한 증거는 Google의 확립된 기밀 컴퓨팅 신뢰 체인(trust chain)이 현재 x86 프로세서를 중심으로 구축되어 있음을 시사합니다. Google이 2024년에 첫 데이터센터 프로세서로 공개한 Axion은 Arm의 Neoverse V2를 기반으로 합니다. 별도의 Axion 기반 보안 스택을 인증하려면, 사용 중인 민감 데이터를 보호하는 제품에 대해 해당 체인을 구축하고 검토해야 할 필요가 있습니다. Google이 EPYC를 선택한 이유가 이것인지 확인해주지 않았기 때문에, 이 설명은 문서화된 지원을 바탕으로 한 추론에 머무릅니다.
AMD는 Google 보안 전문가들이 자사의 보안 프로세서 펌웨어(firmware)에 대해 심층적인 검토를 수행했다고 밝혔습니다. 또한 회사는 SEV가 이미 Confidential VM, Confidential GKE, Confidential Space, 그리고 기밀 Spark 및 Dataflow 등 다양한 Google 서비스를 지원하고 있다고 언급했습니다. 이러한 기존 사용 사례는 EPYC가 TPU 워크로드로 Google의 기밀 컴퓨팅 제공 범위를 확장하는 역할을 할 수 있게 합니다.
Google Cloud 인프라 책임자인 Mark Lohmeyer는 일부 고객들이 8tx를 자체 데이터 센터에 배포할 수 있을 것이라고 기자들에게 전했습니다. 따라서 이 시스템은 Google이 운영하는 시설뿐만 아니라 고객이 제3자 위치에서 실행하더라도 워크로드를 보호하도록 설계되었습니다. 시스템의 신원과 보안 상태를 확인하는 하드웨어 증명(Hardware attestation)은 모델 소유자가 민감한 데이터와 모델 가중치를 다른 곳에서 운영되는 하드웨어에 배치할 수 있도록 하는 메커니즘의 일부입니다.
ServeTheHome에 따르면 호스트 선택은 가속기의 인터페이스와도 관련이 있습니다. 해당 매체는 Google이 TPU 8t의 PCIe Gen5 x16 연결과 일치시키기 위해 AMD의 Turin-generation EPYC 프로세서를 선택했으며, 더 새로운 PCIe Gen6 호스트는 가속기에 추가 대역폭을 제공하지 않을 것이라고 보도했습니다. 이 매체는 또한 이러한 선택을 Google의 2027년 인증 일정과 연관 지었습니다.
AMD는 자체 Infinity Guard 보안 기능이 EPYC 세대 및 프로세서 시리즈별로 다르며 서버 제조업체나 클라우드 제공업체의 활성화(enablement)가 필요하다고 경고했습니다. 따라서 특정 8tx 배포에서 사용 가능한 보호 기능은 해당 공급업체가 활성화한 구성에 따라 달라집니다.