800V 데이터센터 전력 도입, 생각만큼 빠르지 않을 수도

Nvidia가 고객들이 데이터센터에 800V 전력을 도입하도록 독려하고 있을지 모르지만, Schneider Electric의 경영진은 새로운 AI 노드 중 10% 이상이 조만간 이 고전압(High Voltage) 체제로 전환될 것이라고 예상하지 않습니다.

기업들은 이미 140kW, 그리고 점점 더 200kW 수준으로 랙(Rack)의 밀도를 높이고 있습니다. 하지만 전설적인 1MW 랙을 구상하는 Nvidia의 “Kyber” 랙 아키텍처(Architecture)는 800V를 전제로 하고 있습니다.

뉴욕주 버팔로에서 열린 데이터센터 이벤트에서, Schneider Electric의 클라우드 및 서비스 제공업체 기술 및 솔루션 디렉터인 Rob Bunger는 기존의 랙 내부 전력(In-rack power)은 48V이며, 이는 “접촉 시 안전(Touch safe)”한 수준이라고 설명했습니다. 하지만 Bunger는 랙의 전력이 400kW를 향해 가면서 기계적/전기적 문제들이 나타나기 시작한다고 덧붙였습니다. 여기에는 피드(Feeds)와 컨버터(Converters)로 인한 랙 내부의 혼잡, 그리고 저전압 상태에서 버스바(Bus bar)의 랙 전력 공급 능력 문제가 포함됩니다.

Bunger가 설명한 바에 따르면, 72개의 GPU를 구동하는 150kW 랙에는 8개의 “휩(Whips)” 또는 전원 케이블이 필요합니다. 144개의 GPU를 구동하는 1,000kW 랙에는 32개의 휩이 필요하며, 그 크기도 훨씬 더 커질 것입니다. Bunger는 “이는 비현실적입니다. 전혀 말이 되지 않습니다”라고 말합니다.

그래서 Bunger는 다음과 같이 이어갔습니다. “당신이 하고 싶은 두 가지는 첫째, 컨버터(Converters)—AC를 DC로 변환하거나 DC 전압을 승압하는 정류기(Rectifiers)—를 랙 외부로 옮기는 것입니다. 이를 통합하고 전압을 높여 전선당 더 많은 전력을 얻는 것입니다.”

그는 800V로 가는 초기 단계는 랙 자체 내의 사이드카(Sidecars)를 통해 이루어질 것이라고 말했지만, 이 또한 랙 공간을 차지하게 될 것이라고 언급했습니다.

“데이터센터가 점점 더 커짐에 따라 수많은 사이드카를 사용하는 것은 다소 비현실적이 되기 시작합니다. 따라서 여러 경로로 더 큰 단위의 전력 변환을 수행할 수 있는 중앙 집중식 솔루션, 즉 중앙 집중식 DC 배전(Centralized DC distribution)이라 부를 수 있는 방식이 등장할 것입니다.”

하지만 그는 다음과 같이 말했습니다. “이제는 ‘좋다, 전력 변환(conversion)이 화이트 스페이스(white space) 외부에서 일어날 가능성이 있고, 이 800볼트를 IT 랙(IT rack)까지 전달해야 한다’는 점을 고려해야 합니다. 그래야 전력 배전(power distribution)과 보호(protection), 민감도(sensitivity) 및 이 모든 것들을 확보할 수 있기 때문입니다.”

그는 올해 말까지 소규모 배포가 이루어질 것이며, 2029년까지는 “더 중앙 집중화된” 전력 배전 솔루션이 등장할 것이라고 예측했습니다. 초기 사이드카(sidecar) 솔루션은 “600킬로와트(kW)에서 1메가와트(MW) 정도의 전력을 공급할 수 있을 것이며, 이는 매우 높은 사양의 AI 랙 한 개, 두 개 또는 세 개에 전력을 공급할 수 있는 수준이라고 상상하시면 됩니다.”

중앙 집중식 솔루션의 경우, “AC를 800볼트로 변환할 수 있는 컨버터(converter)가 있을 것이며, 이들은 대략 2~5메가와트(MW) 정도의 덩어리(chunk) 크기로 제공될 것입니다. 이것이 우리가 중간 단계에서 보게 될 모습입니다.”

“DC UPS라는 용어를 보셨을 겁니다.”라고 그는 덧붙였습니다. “따라서 이들과 결합된 에너지 저장 배터리(energy storage batteries)가 있을 것입니다. DC 출력의 무정전 전력(uninterrupted power) 관점에서 보면, 이를 DC UPS로 간주할 수 있습니다. 다시 말하지만, 사이드카는 에너지 저장 장치(energy storage)를 갖추도록 구성될 수 있습니다.”

하지만 Nvidia가 800볼트 도입을 밀어붙이고 있음에도 불구하고, Bunger는 이것이 기존 사이트의 대규모 개보수(retrofitting)를 의미하는 것은 아니라고 말했습니다. “우리는 2030년까지 출시되는 새로운 AI 노드(AI nodes)의 약 10% 정도만이 800볼트 DC를 필요로 할 것이라고 생각합니다.”

심지어 완전히 새로 지어지는 데이터센터조차 800볼트를 기반으로만 운영되지는 않을 것입니다. Bunger는 중·저전압이 혼합된 상태로 “데이터센터 내에서 국소적인 영역(pockets) 형태로 나타날 가능성이 높다”고 말했습니다.

그럼에도 불구하고, 그는 밀도가 높아짐에 따라 이것이 전체적인 데이터센터 설계에 여전히 영향을 미칠 것이라고 말했습니다. “시설 장비(facility equipment) 대비 IT 장비(IT equipment)의 비율이 확실히 변하고 있습니다.”

당연하게도, Schneider는 전력 인프라를 재구축하는 총체적 접근 방식(holistic approach) — 즉, 단일 벤더(single vendor)를 사용하는 방식 — 이 타당하다고 말했습니다. “배전반(panel boards)부터 버스웨이(bus ways), 차단기(circuit breakers)에 이르기까지 총체적인 솔루션을 정말로 고려해야 합니다.”

따라서 800V가 도입되는 첫 번째 단계는 매우 높은 신뢰성을 보장하기 위해 고도로 설계된 전체 시스템 설계(full system design)가 될 것입니다. 표준(standards) 관점과 더 많은 옵션 측면에서 시장이 성숙해짐에 따라, 제품 간의 상호 운용성(interoperability)도 더 많이 나타나기 시작할 것입니다.

Bunger는 AI 워크로드(workloads)의 특성이 전통적인 클라우드 워크로드와 비교했을 때 상황을 더욱 복잡하게 만든다고 덧붙였습니다.

전통적으로 "시설의 전체 목적은 IT 부하(IT load)를 보호하는 것이었습니다. 아시다시피 높은 안전성과 높은 가용성(availability)을 확보하는 것이 목적이었죠."

그에 비해 AI 워크로드는 정적이지 않습니다. "특히 AI 학습(training)의 경우, 부하가 맥동(pulse)합니다. 따라서 이러한 맥동하는 부하(pulsing load), 그리고 매우, 매우 큰 부하가 그리드(grid)에 미치는 영향이 무엇인지 반드시 고려해야 합니다."

이 시점에서 고장 유지(Fault ride through)가 문제가 됩니다. "따라서 데이터센터 시설은 역사적으로 IT 부하를 보호해야 했을 뿐만 아니라, 이제는 동시에 그리드(grid)도 보호해야 합니다."

Schneider의 최고 마케팅 책임자(CMO)인 Kevin Brown은 800V에 특별히 마법 같은 무언가가 있는 것은 아니라고 덧붙였습니다. "업계가 800V DC로 전환하는 이유는 전기차(EV) 때문입니다. 커넥터(connectors)를 공급할 수 있는 공급망(supply chain)이 갖춰져 있고, 그것이 어떻게 작동하는지에 대한 이해가 이미 존재하기 때문입니다."

전력 아키텍처(power architecture)를 변경하는 것만으로도 AI 및 HPC 엔지니어들이 바쁘게 움직이기에 충분하지 않았다면, Schneider Electric은 전력 소모가 큰 랙(racks)이 확산됨에 따라 액체 냉각(liquid cooling)으로의 전환이 AI 데이터센터가 더 많은 토큰(tokens)을 처리하는 데 도움이 될 것이라고 주장했습니다. 또한 이 회사는 AI 데이터센터가 물 위기(water crisis)를 초래한다는 주장에도 반박했습니다.

Schneider의 냉각 기술 및 제품 개발 책임자인 Tuan Hoang은 회사의 참조 설계(reference designs)를 기반으로 텍사스와 파리에 있는 가상의 AI 데이터센터의 물 소비 사례 연구를 개괄하며, 증발 냉각(evaporative cooling) 방식과 액체 냉각(liquid cooled) 시스템의 영향을 비교했습니다.

이 연구는 텍사스와 파리에서 100메가와트(megawatt) 규모의 데이터센터를 운영할 때의 영향을 비교했습니다.

그는 이를 바탕으로, 달라스(Dallas)에 위치한 100메가와트(megawatt) 규모의 공랭식/증발식 타워 사이트는 1.148의 PUE를 기록하고 161개의 올림픽 규격 수영장 분량의 물을 소비하는 반면, 1.99x10^8개의 토큰(tokens)을 제공할 것이라고 말했습니다. 이를 기후가 더 온화한 파리(Paris)로 옮기면, 물 소비량은 동일하지만 PUE는 1.11로 낮아지고 2.78x10^8개의 토큰을 제공하게 됩니다.

다음은 달라스 시나리오에 대한 비교 데이터입니다:

그리고 파리 시나리오에 대한 데이터는 다음과 같습니다:

마지막으로, 두 시나리오를 비교한 요약 표입니다:

Nvidia의 Vera-Rubin AI 시스템을 사용하며 액체 냉각 (liquid cooling) 방식을 사용하는 텍사스(Texas)의 데이터센터는 1.04의 PUE를 기록하고, 79개의 수영장 분량의 물을 소비하며, 2.52x10^11개의 토큰을 생성할 것입니다. 파리에 위치한 동일 조건의 데이터센터는 1.04의 PUE를 기록하고, 20개의 수영장 분량의 물을 소비하며, 2.91x10^11개의 토큰을 생성할 것입니다.

단순 비교를 위해 말씀드리자면, 올림픽 규격 수영장 하나는 2,500 m³의 물과 맞먹습니다. 반면 일반적인 달라스 가구는 연간 416 m³의 물을 소비하고, 파리 가구는 연간 110 m³를 소비합니다.

물론 진짜 과제는 전력과 토지가 풍부한 텍사스와 비교했을 때, 전력이 제한적이고 밀집된 '빛의 도시(City of Lights, 파리)'에 AI 규모의 데이터센터를 구축하기 위한 허가를 받아내는 것입니다.

하지만 Huang은 물 소비가 지역 사회가 데이터센터에 반대하는 이유 중 하나라는 점을 고려할 때, 이번 분석이 매우 의미 있다고 말했습니다. 그는 수치상으로 “물 소비는 필수 사항이 아니라 선택 사항임이 드러났다”라고 언급했습니다.

그는 열을 더 효율적으로 추출하기 위해 물을 사용하는 데에는 비용이 따른다고 말했습니다. “하지만 위치 결정 또한 소비되는 물의 양을 변화시킵니다. 이 상황을 극단적으로 확장하여 북쪽의 더 추운 환경으로 가거나, 중동 또는 사막 환경으로 간다고 상상해 보십시오.”

이어 Schneider의 CMO인 Brown은 업계가 액체 냉각 (liquid cooling)이 반드시 “물 사용을 의미하는 것은 아니다”라는 점을 더 잘 설명해야 한다고 덧붙였습니다. 오히려 물 사용은 더 나은 에너지 효율을 얻기 위해 채택된 증발식 냉각 (evaporative cooling)의 사용 여부에 달려 있습니다. 하지만 AI 데이터센터는 사실상 액체 냉각 (liquid cooling)과 동의어로 쓰이고 있습니다.

Brown은 액체 냉각 (liquid cooling)을 도입함으로써 “온도가 변화하기 때문에, 이러한 구조적 변화를 통해 독특한 기회를 얻을 수 있으며, 상대적으로 말하자면 우리의 용수 사용량은 명목상 감소합니다. 소비하는 킬로와트 (kilowatts) 양과 생성하는 토큰 (tokens) 양이 훨씬 더 효율적으로 변할 것입니다.”라고 말했습니다.

AI 데이터센터가 액체 냉각을 사용하기 때문에 물을 소비한다는 신화는 “사실이 아닙니다. 이를 피하면서도 여전히 효율적인 데이터센터를 운영할 수 있습니다.”

비록 지역 사회가 200에이커 (acre) 이상의 AI 시설이 자신들에게 들어오는 것에 대해 다른 여러 가지 반대 의견을 가질 가능성은 높지만 말입니다.