Amazon Web Services는 자사 엔지니어들의 EC2 인스턴스 내부 사용에 대해 단속을 실시하고 있습니다. 지난 5월, 이 회사는 엔지니어들과 만나 AWS가 고객 수요를 충족할 수 있는 충분한 CPU 용량을 확보할 수 있도록 CPU 낭비를 줄이라고 지시한 것으로 알려졌습니다 (The Information 보도). 이러한 메시지는 데이터 센터의 CPU 수요가 최고조에 달한 가운데 나왔으며, 기존의 GPU 대비 CPU 비율인 8:1 또는 4:1 관계가 거의 대등한 수준(parity)에 가까워지고 있습니다.

TH Premium으로 더 깊이 알아보기: CPU

A hand holding the Ryzen 7 9850X3D.

(이미지 출처: Tom's Hardware)

• DLSS와 함께하는 CPU 스케일링 (CPU scaling with DLSS)
• 최정상의 Ryzen: AMD가 게이밍 CPU 시장에서 혁신한 방법
• ARM이 PC 시장에 진입하는 방식
• AMD CES 2026 게이밍 트렌드 기자 Q&A 라운드테이블 녹취록

EC2 인스턴스는 현대 인터넷의 상당 부분을 차지하고 있으며, 프라이빗 배포 (private deployments) 용도로도 사용됩니다. 전통적으로 AWS 엔지니어들은 웹 인프라에 필요한 상대적으로 낮은 CPU 활용도 (CPU utilization)를 활용하여, 개발을 위해 자신만의 인스턴스를 직접 생성하여 더 많은 가상 머신 (virtual machines)을 사용할 수 있었습니다. 하지만 이제 엔지니어들은 이전에 몇 시간 내에 가능했던 인스턴스 접근 권한을 얻기 위해 며칠씩 기다리고 있다고 말합니다. 한 엔지니어는 _The Information_과의 인터뷰에서, Amazon에서 수년간 근무하면서 인스턴스를 위해 이렇게 오래 기다려야 했던 적은 없었다고 전했습니다.

Amazon은 AMD 및 Intel 옵션을 포함하여 EC2 인스턴스에 여러 가지 다른 유형의 CPU를 배포하고 있으며, 여기에는 상대적으로 최신인 Graviton5 칩도 포함됩니다. Graviton5는 현재까지 Amazon의 가장 강력한 CPU이며, Nvidia의 Vera CPU 및 Arm 자체의 AGI와 유사한 Arm 기반 아키텍처 (Arm-based architecture)를 사용합니다.

CPU 수요의 증가는 Amazon과 같은 대기업조차 대응에 어려움을 겪고 있는 생산성의 새로운 패러다임인 AI 에이전트 (AI agents)의 등장에 따른 것입니다. 예를 들어, 지난달 한 코딩 에이전트 (coding agent)가 Amazon에서 180만 달러 상당의 토큰 비용 (token costs)을 소진하며 개발 예산을 860% 초과하는 사고를 냈습니다.

현재 구축된 AI 인프라의 상당 부분은 GPU에 의해 가속화되는 워크로드인 추론 (Inference)을 중심으로 설계되었습니다. 4대 1의 비율(GPU 대 CPU)로 인해, CPU는 GPU에 데이터를 공급하는 수단 그 이상의 역할을 하지 못했습니다. 하지만 에이전틱 (Agentic) 워크로드는 훨씬 더 복잡합니다. 이들은 종종 CPU에서 실행되는 도구 호출 (Tool calls)뿐만 아니라, GPU 상의 추론에 대한 더 복잡한 오케스트레이션 (Orchestration)을 포함합니다. 이것이 바로 에이전틱 시대에 CPU를 중심 무대로 끌어올린 요인입니다. Intel, AMD 및 기타 기업들은 지난 몇 달 동안 메모리 및 스토리지 기업들로부터 들었던 내용을 그대로 되풀이하고 있습니다. 즉, CPU에 대한 수요가 너무 높아서 대부분의 기업이 구할 수 있는 것이라면 무엇이든 받아들이려 한다는 것입니다.

주요 플레이어들은 이러한 수요를 활용하고 있습니다. AMD는 최근 데이터 센터용 Zen 6 'Venice' CPU 포트폴리오를 공개했는데, 이는 AMD가 수십 년 만에 클라이언트 시장보다 데이터 센터 시장에 새로운 아키텍처를 먼저 출시한 첫 사례입니다. Nvidia 또한 메시지의 중심을 가속기 (Accelerators)에서 벗어나 자사의 새로운 Vera CPU로 전환하며, 확장되는 에이전틱 AI 인프라 시장에서 입지를 확보하기 위해 경쟁하고 있습니다.

Amazon이 내부 엔지니어와 외부 고객 모두를 대상으로 CPU 용량 부족 문제와 씨름하고 있지만, The Information의 보도에 따르면 이러한 부족 현상은 주로 스팟 인스턴스 (Spot instances)에서 발생하는 문제라고 합니다. 한 컨설턴트는 해당 매체에 계약된 용량 (Contracted capacity)은 부족 현상을 겪지 않고 있다고 전했습니다.