월요일 The Information이 해당 사안을 직접 알고 있는 두 명의 소식통을 인용해 보도한 내용에 따르면, Google은 Gemini 모델 아키텍처의 일부를 실리콘에 직접 새겨 넣는, 비공식적으로 "Frozen v2"라 불리는 서버용 칩을 개발하고 있습니다. 이 프로젝트의 엔지니어들은 해당 칩이 Google의 최신 세대 TPU보다 전력 단위당 6배에서 10배 더 많은 토큰을 처리할 수 있을 것으로 전망하고 있으며, 배포 목표 시점은 이르면 2028년입니다. 두 소식통은 이 프로젝트가 Google Cloud가 외부 고객과의 계약을 거절할 정도로 심각한 AI 컴퓨팅(AI compute) 부족 현상에 대응하기 위한 측면이 있다고 전했습니다.

TH Premium과 함께 더 깊이 알아보기: AI 및 데이터 센터

Microsoft data center in Mount Pleasant, Wisconsin

(이미지 출처: Microsoft)

• 광학(Photonics) 및 고속 데이터 이동이 차세대 AI 병목 현상이 될 것
• 데이터 센터 냉각 현황
• 대규모 AI 데이터 센터 구축으로 인한 에너지 공급 압박
• Ultra Ethernet: 미래의 데이터 센터 상호 연결 기술

GPU와 마찬가지로 TPU는 로드된 모델이 무엇이든 실행하며, 이는 하드웨어가 각 모델과 상호작용할 때마다 시간이 많이 소요되는 런타임 결정 (runtime decisions)을 내려야 함을 의미합니다. Frozen v2는 Gemini를 위한 이러한 결정 중 일부를 트랜지스터 (transistors)에 고정하여, 칩이 수행하는 단계의 수와 쿼리당 이동하는 데이터의 양을 줄일 것입니다. 한 소식통에 따르면, 이는 새로운 애플리케이션을 가능하게 할 정도로 응답 지연 시간 (latency)을 단축할 수 있습니다.

Google DeepMind의 수석 과학자인 Jeff Dean이 주도했던 원래의 Frozen 설계는 한 발 더 나아가 Gemini의 가중치 (weights) 자체를 칩에 구워 넣는(baked) 방식이었습니다. 보고서에 따르면, Google은 단일 모델 버전에 종속된 실리콘은 수명 주기 (life cycle)가 너무 짧을 것이라는 이유로 해당 제안을 보류했습니다. Frozen v2는 대신 아키텍처 (architecture)를 고정하고 가중치는 업데이트 가능하도록 남겨두어, Google이 동일한 기본 아키텍처를 기반으로 칩을 제작하는 동안에는 Gemini의 새로운 릴리스가 나와도 칩을 계속 유용하게 사용할 수 있도록 합니다. 모델의 어느 정도까지 고정할지는 아직 결정되지 않은 것으로 알려졌습니다.

Google은 Frozen v2를 TPU와 같은 대량으로 생산할 계획은 없으며, 모델 설계가 안정화됨에 따라 더 전문화된 실리콘을 위한 시험 단계의 일부로 이번 세대를 보고 있습니다. 이 칩은 4월 Cloud Next에서 발표된 8세대 TPU 라인업이 학습(training)과 추론(inference) 변형으로 분리된 것과 마찬가지로, TPU 라인을 대체하기보다는 병행하여 운영될 것입니다. 2028년이라는 목표 시점은 또한 Google이 Intel에 300만 개 이상의 TPU 패키징을 예약한 것으로 알려진 해와 동일합니다.

모델 하드와이어드 추론 (Model-hardwired inference) 실리콘은 이미 데모를 통해 존재합니다. Quiet Capital과 Fidelity를 포함한 투자자들로부터 2억 달러 이상을 유치한 토론토의 스타트업 Taalas는 지난 2월, TSMC의 N6 공정으로 제작된 815mm² 다이(die)에 Llama 3.1 8B를 영구적으로 배선(wired)한 HC1 칩을 출시했습니다. 이 회사는 패키지에 HBM(고대역폭 메모리) 없이도 사용자당 초당 17,000개의 토큰을 생성한다고 주장합니다. 한편, Nvidia는 지난 12월 추론 칩 설계업체인 Groq으로부터 기술을 라이선스하기 위해 200억 달러 규모의 계약을 체결했습니다.

Google은 아직 이 프로젝트를 확인하지 않았으며, 대변인은 _The Information_에 모든 프로젝트가 양산으로 이어지는 것은 아니며 "이러한 엄격한 탐색은 우리의 풀스택 (full stack) 접근 방식의 핵심"이라고 밝혔습니다.