Google의 API 및 개발자 제품에서 분당 약 220억 개의 토큰 처리 중

현재 Google의 API와 개발자 제품 전반에 걸쳐 분당 약 220억 개의 토큰이 처리되고 있습니다.

토큰 1개가 대략 0.75 단어와 같으므로, 이는 매분마다 전체 영어 위키피디아를 세 번 반 이상 처리하는 것과 맞먹는 양입니다.

이러한 속도를 유지하기 위한 인프라 확장은 시스템을 근본 원리(first principles)부터 재고해야 함을 의미합니다. 즉, 하드웨어와 소프트웨어를 공동 설계하고, 네트워크 패브릭을 최적화하며, 유휴 용량을 제거하기 위해 TPU, GPU, CPU 전반의 좋은 처리량(goodput)을 극대화해야 합니다.

자체 AI 워크로드를 확장하는 기업 리더들에게 이러한 아키텍처 교훈은 실질적인 로드맵을 제공합니다.

Mark Lohmeyer와 @TheFuturumGroup의 @danielnewmanUV가 새로운 인프라 패러다임을 분석한 Six Five Summit 대화를 시청하세요 → https://t.co/33oRWJPZBh