GPU와 RAM이 부족하지만, AI의 진짜 병목 현상은 전기 기술자이다

설계상 데이터센터(Datacenters)는 거대한 자본 집약적 기계입니다. 하지만 AI와 HPC(고성능 컴퓨팅)가 글로벌 경제에서 흡수하고 있는 자원의 규모를 파악하려면, 뉴욕주 버팔로 외곽의 온타리오 호수 연안에 위치한 TeraWulf의 Lake Mariner 사이트에서 일어나고 있는 일을 살펴보면 됩니다.

2022년 중반, TeraWulf는 처음 가동을 시작한 지 18개월 만에 과거 석탄 화력 발전소였던 이 사이트에서 50메가와트(MW) 규모의 비트코인 채굴 용량을 가동하는 마지막 단계에 있다고 발표하며 기쁨을 표했습니다. 또 다른 50메가와트의 용량은 2023년 초에 가동될 예정이었습니다.

2025년까지, 해당 사이트에서 2메가와트 규모의 AI/GPU 파일럿 프로젝트를 거친 후, TeraWulf는 방향을 전환하여 스스로를 HPC/AI 기업으로 탈바꿈시켰습니다. 사이트의 점유 면적을 157에이커로 확장했으며, Lake Mariner 사이트의 용량을 750메가와트까지 끌어올리는 것을 목표로 하고 있습니다. 여전히 기회주의적인 기반 위에서 비트코인을 생산하겠지만, 경영진과 주주들은 다른 사람들이 AI 토큰을 생성할 수 있도록 인프라를 제공함으로써 실질적인 수익을 창출할 더 나은 기회가 있다는 결정을 내린 것이 분명합니다.

The Next Platform은 최근 Schneider Electric과 함께 이 사이트를 둘러보았습니다. 이 프랑스 전력 키트 기업은 사이트의 전기 인프라(Electrical infrastructure) 상당 부분을 공급했으며, 자회사인 Motivair는 현재 AI급 사이트의 필수 전제 조건이 된 액체 냉각(Liquid cooling) 기술의 상당 부분을 제공했습니다.

HPC와 AI로 관심을 돌린 후, TeraWulf의 초기 노력은 20메가와트 규모의 CB-1 데이터센터였으며, 2025년에는 50메가와트 규모의 CB-2 데이터센터가 예정되어 있습니다. Cerebras Systems 및 AMD를 비롯한 다른 AI 시스템 공급업체들의 강력한 파트너인 Sovereign AI 전문 기업 Core42가 이 회사의 첫 번째 주요 고객(Banner client)이었습니다. Core42는 지난 10개월 동안 CB-1에서 AMD 기반 시스템을 운영해 왔습니다.

Google의 지원을 받으며 Anthropic이 자체 TPU 시스템을 구축하고 설치하는 것을 돕고 있으며 TeraWulf의 후원자이기도 한 AI 인프라 전문 기업 Fluidstack은 우리가 방문하기 몇 주 전 해당 부지의 CB-3 건물에서 가동을 시작했습니다. 따라서 그곳은 출입이 제한되었습니다. (우리가 알기로는 Anthropic이 초기 TPU 시스템을 배치해 둔 곳일 수도 있습니다.)

하지만 우리는 CB-4 건물을 볼 수 있었습니다. 이 건물은 330,000평방피트 규모에 200메가와트(MW)를 자랑하는 거대한 시설로, 이전의 운영 규모를 압도합니다. 이 건물은 각각 33,000평방피트에 달하는 4개의 데이터 홀 (Data hall)을 포함하고 있으며, 이는 공간, 전력, 그리고 기계적 인프라 (Mechanical infrastructure)가 얼마나 많은 자리를 차지하는지를 잘 보여줍니다. 이곳의 건설은 지난 1월에 시작되었습니다. 건물은 여름 말 전력 스위치를 올리기 전 마지막 준비 단계에 있습니다.

건물 내부 청소가 완료되고 전원이 공급되면, 고객들이 원하는 컴퓨팅 (Compute)을 실행하기 위해 랙 (Rack)을 설치하고 공간을 정확히 어떻게 관리할지 결정하게 될 것입니다.

TeraWulf의 최고 운영 책임자 (COO)인 Sean Farrell은 데이터 홀이 슬래브 콘크리트 바닥 (Slab concrete floors)으로 건설되었다고 말했습니다. 이는 이중 바닥 (Raised floors)보다 구축하기는 쉽지만, 더 중요한 점은 점점 더 밀도가 높아지고 그에 따라 무거워지는 랙을 지탱할 수 있다는 것입니다.

액체 냉각 키트 (Liquid cooling kit)와 잠재적으로 800볼트 인프라를 탑재하는 고밀도 AI 가능 랙은 이중 바닥이 감당하기에는 너무 무거워지고 있습니다. 이 회사는 랙당 8,000파운드를 기준으로 설계했으며, 최대 10,000파운드까지 지원할 수 있습니다.

Farrell은 이 건물을 지원하는 비컴퓨팅 (Non-compute) 기계실을 "거대하다"고 묘사했습니다. 그리고 실제로 매우 거대합니다. 데이터 홀 자체는 전체 면적의 절반 미만을 차지합니다. 기계실은 폐쇄 루프 냉각 시스템 (Closed loop cooling system)을 처리하며, 데이터 홀 내의 칠러 (Chillers)와 쿨러 (Coolers)가 GPU 집약적인 랙에서 발생하는 열을 포착하면, 열교환기 (Heat exchangers)가 이를 옥상 타워를 통해 배출합니다. 데이터 홀에는 고객이 원할 경우 팬 월 (Fan walls)을 설치할 수 있는 공간도 마련되어 있습니다.

Farrell은 일반적인 냉각 운영 과정에서는 물이 사용되지 않으며, 냉각 시스템 내의 유체는 한 번 "충전(charged)"되면 10년에서 15년 동안 지속된다고 말했습니다.

이 회사는 이미 Schneider 및 Motivair를 통해 무정전 전원 장치 (UPS) 및 배터리, 냉각 분배 장치 (CDU), 랙 내부 매니폴드 (in-rack manifolds), 랙 (racks), 랙 쿨러 (rack coolers), 그리고 소프트웨어 및 서비스 분야에 2억 9,000만 달러를 지출했습니다.

옆에 위치한 CB-5 건물 또한 330,000평방피트 규모입니다. Farrell의 표현을 빌리자면, 해당 건물의 첫 철골은 4월 1일에 설치되었습니다. 현재 지붕은 덮였으며, 측면은 개방되어 있지만 지붕 위 쿨러들이 설치되고 있습니다. Farrell은 이 건물이 연말까지 "전력이 공급(energized)"될 것이라고 말했습니다. 작년에 TeraWulf는 Fluidstack이 CB-5에 대해 160메가와트 (MW) 임대 계약을 체결했다고 발표했으며, 이로써 해당 부지에 대한 총 약정 용량은 360메가와트가 되었습니다.

전체 부지에 없는 것은 백업용 디젤 발전기입니다. 오일 버너 (Oil burners)는 전통적으로 본격적인 데이터 센터의 상징이며, 수냉식 냉각 시스템 및 전력망 (grid) 전기에 대한 갈증과 더불어 지역 사회가 데이터 센터 신청을 반대하는 주요 원인이 됩니다.

Lake Mariner는 서로 다른 전력망에서 들어오는 이중 345킬로볼트 (kV) 전력 공급의 혜택을 받습니다. 이는 Tier 3 등급에 상응함을 의미하며, 즉 N+1 중복성 (redundancy)과 다중 전력 및 냉각 분배 경로를 갖추고 있음을 뜻합니다. 전력망의 에너지 믹스는 89%가 탄소 배출 제로이며, 이는 상당 부분 New York Independent System Operator가 나이아가라 폭포의 수력 발전 자원을 활용하기 때문입니다.

데이터 센터 개발에 있어 전력은 타협할 수 없는 요소입니다. TeraWulf는 480메가와트 용량의 활성 변전소를 보유한 켄터키의 전 알루미늄 공장을 포함하여, 다양한 부지에 걸쳐 총 3기가와트 (GW)의 용량을 보유하고 있습니다.

연결성 (Connectivity) 또한 필수적입니다. 다만 Farrell은 이제 지연 시간 (Latency) 측면에서는 약간의 여유가 생겼다고 설명했습니다. 그는 5년 전만 해도 부지가 미식축구 경기장에서 2시간 거리에 있어야 한다는 것이 경험칙이었다고 말했습니다. 자존심 있는 스포츠 경기장이라면 그보다 연결성이 떨어질 리 없기 때문입니다. 하지만 부지가 학습 (Training)에 집중되어 있을 때는 결과값 반환을 위한 지연 시간이 그렇게 결정적이지는 않았습니다. 또한 그는 연결성을 구축하는 것이 예전보다 쉬워졌다고 말했습니다. 따라서 적어도 초기 단계에서는 초저지연 (Super low latency)이 더 이상 결정적인 결격 사유는 아닙니다.

그렇긴 해도, Lake Mariner 부지는 Buffalo Bills의 경기장에서 약 1시간 거리에 있으며, 이는 또 다른 이점을 제공합니다. Bills 경기장의 대규모 개보수가 완료되면서 수백 명의 전기 기술자 (Electrical contractors)들이 확보되었습니다. Farrell은 데이터센터 프로젝트의 가장 큰 병목 현상 (Bottleneck)은 기술직, 특히 전기 기술자 (Electricians)라고 말했습니다.

24시간 365일 가동되는 이 건설 현장에는 상시 약 1,800명의 기술 인력이 투입되어 있으며, 그중 650명에서 800명은 전기 기술자입니다.

이는 시간과 비용 측면에서 엄청난 투자이며, 우리가 목격한 바로는 안전모와 고시인성 조끼 (Hi-viz vests)의 향연이었습니다. 공랭식 (Air cooling) 시스템에 의존하는 비트코인 채굴용 구축 비용은 메가와트 (Megawatt)당 약 50만 달러가 소요됩니다. 그 위의 컴퓨팅 (Compute) 비용도 대략 비슷합니다.

Farrell은 AI/HPC의 경우, 인프라 구축 비용이 메가와트당 약 700만 달러에서 1,000만 달러에 달한다고 말했습니다. 하지만 이는 액체 냉각 (Liquid cooling) 등을 전제로 한 수치입니다. "그 외에도 고려해야 할 사항이 훨씬 더 많습니다."라고 Farrell은 말합니다. 혹은 그 거대한 기계실 (Mechanical rooms)에 들어가는 요소들을 말하는 것이기도 합니다.

또한, 코로케이션 (Colocation) 사이트로서 실제 컴퓨팅 장비를 갖추고 관리하는 것은 고객들입니다.

그들이 데이터센터 공간을 위해 TeraWulf에 지불할 금액은 얼마일까요? 미국의 평균 데이터센터 임대 비용은 월간 킬로와트 (Kilowatt)당 약 140달러입니다. 그리고 계약 기간은 통상 10년에서 15년입니다. 이 모든 것을 합치면 얼마가 될까요? 직접 계산해 보실 수 있겠지만, 계산기를 사용하는 것이 좋습니다. 생성형 AI (GenAI)는 수학을 잘 못하니까요.