ChatGPT 대화 한 번(약 20~50개의 질의)이 약 반 리터의 물을 소비합니다. 이 수치가 저를 멈추게 했습니다. 전기가 아닙니다, 탄소도 아니고, GPU 부족 현상도 아닙니다. 바로 물입니다. 왜냐하면 물은 대체할 수 없는 유일한 투입 요소인데, AI 산업은 분기마다 점점 짧아지는 빨대에서 물을 마시고 있기 때문입니다.

제가 검증하고 싶은 주장은 이렇습니다. 향후 5년간 AI 확장의 제약 요인은 컴퓨팅 파워도 아니고, 칩도 아니며, 자본금도 아닙니다. 바로 열 관리(thermal management)이며, 구체적으로 데이터 센터에서 발생하는 열을 방출하는 데 필요한 물과 에너지입니다. 그리고 현재 제시되고 있는 해결책들은 구조적인 문제에 대한 점진적인 패치들일 뿐입니다.

구체적으로 들어가 보겠습니다. 'AI가 많은 에너지를 사용한다'는 식의 이야기가 아닙니다. 구체적인 수치, 구체적인 물리적 원리, 구체적인 대안, 그리고 AI 인프라 서사에서 뒤로 보내야 할 신성한 소(sacred cow) 하나를 다루겠습니다.

수치들: 왜냐하면 담론이 모호하기 때문입니다
데이터 센터는 2022년에 전 세계적으로 약 460 TWh를 소비했으며, 이는 전 세계 전기량의 약 2%에 해당합니다. IEA(국제 에너지 기구)는 AI 워크로드가 주도하면서 이 수치가 2026년까지 두 배가 될 것으로 예측합니다. 일부 추정치에 따르면 AI 관련 데이터 센터 수요는 2030년까지 3배에서 4배 성장할 것이라고 합니다.

이것이 헤드라인입니다. 중요한 부분은 다음 내용입니다.

H100 GPU 하나는 부하 상태에서 최대 700W를 소비합니다. 8개의 GPU가 장착된 DGX H100 노드는 벽면에서 약 10.2 kW를 끌어옵니다. 이러한 노드 8개로 구성된 랙은 80kW가 넘습니다. 전통적인 엔터프라이즈 랙은 5~10 kW였습니다. 우리는 지난 3년 동안 랙 밀도를 한 자릿수(order of magnitude)만큼 증가시켰습니다.

H100이 10만 개 사용된 하이퍼스케일 AI 학습 클러스터는 지속적으로 약 70~100 MW를 끌어옵니다. 이는 작은 도시가 사용하는 전력량이며, 학습 기간 동안 몇 달 동안 24시간 내내 가동됩니다.

증발 냉각(evaporative cooling)을 위한 물 소비량이 눈에 보이지 않는 비용입니다. 증발 냉각을 사용하는 100 MW 데이터 센터는 하루에 약 100만~200만 리터의 물을 소비합니다. 이는 1,000가구에서 2,000가구에 해당하는 연간 물 사용량과 같습니다. 가뭄이 잦은 지역에서는 이것이 추상적인 문제가 아닙니다.

PUE(Power Usage Effectiveness)는 오버헤드에 대한 산업 표준 지표입니다. PUE가 1.1이라는 것은 오버헤드가 10%라는 의미입니다. 하이퍼스케일러들은 1.1에서 1.2를 주장합니다. 구형 시설은 1.5에서 2.0을 기록합니다. 이 차이는 매년 수십억 kWh에 달합니다.

이것들을 종합하면, 어떤 양의 자본으로도 해결할 수 없는 물리적 제약 조건이 생깁니다. 즉, 열을 버려야 한다는 것입니다. GPU에 투입되는 모든 와트(watt)는 열로 빠져나오며, 이 열은 반드시 어딘가로 가야 합니다. 공기, 물 또는 상변화(phase change)를 통해서입니다. 이것들이 선택지입니다.

물이 기본값이 된 이유 (그리고 왜 그것이 함정인지)
증발 냉각(Evaporative cooling)은 물이 높은 증발 잠열(latent heat of vaporization)을 가지고 있기 때문에 작동합니다. 물 1리터는 증발할 때 약 2,260 kJ의 열을 흡수합니다. 이는 리터당 엄청난 양의 열 방출 능력을 의미합니다. 이것이 건조 기후 지역의 데이터 센터가 역사적으로 냉각탑(cooling towers)을 사용해 온 이유입니다. 저렴하고 효과적이며 검증되었기 때문입니다.

하지만 이에는 세 가지 함정이 있습니다.
첫째, 물은 지역 자원입니다. 아리조나에 있는 데이터 센터는 농부, 지방 정부, 생태계와 물을 두고 경쟁합니다. 아이슬란드나 네덜란드의 데이터 센터는 주거 및 농업과 경쟁합니다. 물이 사라지는 것이 아닙니다. 이동할 뿐입니다. 하지만 다른 사람들이 의존하는 유역(watershed)에서 빠져나가는 것입니다.
둘째, 물은 정치적 문제입니다. 2023년, 치리(Chile)의 환경 규제 기관은 물 사용 문제로 산티아고에 있는 Google 데이터 센터 확장을 차단했습니다. 2024년에는 버지니아 카운티가 지하수 고갈을 이유로 새로운 데이터 센터 허가를 거부했습니다. 이것들은 예외적인 사례가 아닙니다. 이는 패턴의 선두를 보여주는 것입니다.
셋째, 물은 더 깊은 문제에 대한 대리 지표(proxy)입니다. 우리가 그렇게 많은 물이 필요한 이유는 밀집된 랙(rack)에서 엄청난 열 부하(heat loads)를 방출하고 있기 때문입니다. 물은 증상일 뿐입니다. 열 밀도(heat density)가 질병입니다.

신성한 소(Sacred Cow): “PUE가 올바른 지표다”
이것을 해체하고 싶은 믿음이 있습니다: PUE는 업계의 주요 효율성 지표이며, AI의 환경 발자국을 이해하는 데는 대부분 쓸모가 없습니다.
PUE는 총 시설 전력을 IT 전력으로 나눈 값입니다. PUE 1.1은 좋아 보입니다. 하지만 PUE는 다음 사항에 대해서는 아무것도 말해주지 않습니다:

• 물 소비량 (WUE, Water Usage Effectiveness로, 거의 아무도 공개적으로 추적하지 않습니다)
• 시설이 위치한 그리드의 탄소 집약도
• GPU에 내장된 탄소 배출량(이는 엄청나며 3~5년에 걸쳐 상각됩니다)
• 시설이 과부하된 그리드에 추가하는 한계 부하(종종 화석 연료 피크 플랜트입니다)

석탄 의존도가 높은 지역에서 PUE가 1.05인 데이터 센터는 아이슬란드에서 PUE가 1.4인 곳보다 기후에 더 해롭습니다. PUE는 결과를 아니라 엔지니어링을 보상합니다. 그리고 업계는 자신에게 잘 보이는 지표를 위해 열심히 최적화해 왔지만, 중요한 지표인 유용한 추론당 총 환경 비용은 여전히 대부분 측정되지 않고 있습니다.

만약 당신이 구축자(builder)나 운영자(operator)라면, 그 함의는 직접적입니다: PUE를 가지고 기후 이야기를 하기를 멈추세요. WUE, 그리드 탄소 집약도, 그리고 한계 배출량을 보고하세요. 만약 이 수치들을 보고할 수 없다면, 당신은 당신의 발자국을 모르는 것입니다.

물리학에 따라 순위 매긴 실제 대안들 (마케팅이 아닌)
실제로 작동하는 것에 대해 이야기합시다. 왜냐하면 대안들이 같지 않기 때문입니다.

1. 액체 침지 냉각(Liquid immersion cooling). 다이일렉트릭 유체 또는 물-글리콜 루프를 사용하여 공기를 칩에 직접 전달하거나 완전히 침지하는 방식이다. 랙당 열 방출 용량이 2030 kW에서 100200 kW로 급증한다. Microsoft의 Project Natick은 지난 2년간 PUE(전력 사용 효율)가 약 1.07인 밀폐형 수중 데이터 센터를 시연했다. 침지 냉각 기술은 현실이며, 이미 출하되고 있으며, 고밀도 AI 랙을 대체할 가장 유력한 단기 대안이다. 다만 트레이드오프(tradeoff)로 재설치 비용, 유체 처리 문제, 그리고 대부분의 데이터 센터가 이 방식에 맞춰 지어지지 않았다는 점이 있다.
2. 2상 및 상변화 냉각(Two-phase and phase-change cooling). 다이일렉트릭 유체를 칩 수준에서 끓게 하는 것은 단상 액체보다 단위 부피당 훨씬 많은 열을 제거한다. CoolIT, ZutaCore, Accelsius와 같은 스타트업들이 이 기술을 상용화하고 있다. 이는 단상 방식보다 효율적이지만 유지 관리가 어렵고 사용되는 유체가 비싸다는 단점이 있다.
3. 무료 냉각 및 기후 입지 선정(Free cooling and climate siting). 연중 대부분의 기간 동안 주변 공기로 열을 방출할 수 있다면 증발식 물(evaporative water)이 전혀 필요 없다. 이것이 데이터 센터들이 아이슬란드, 노르웨이, 스웨덴, 그리고 캐나다 일부 지역으로 이동하는 이유이다. 기후가 허용하는 경우 무료 냉각이 가장 저렴한 옵션이며, 이 때문에 '사막에 건설' 모델은 사라질 것이다.
4. 열 재사용(Heat reuse). 폐열을 지역 난방 네트워크, 온실 또는 산업 공정에 방출하는 방식이다. 스톡홀름의 데이터 센터들은 이미 이를 수행하고 있다. 이는 폐기물 흐름을 제품으로 전환하기 때문에 가장 높은 레버리지를 가진 움직임이다. 제약 조건은 지리적 위치인데, 열에 대한 고객이 필요하며 대부분의 데이터 센터는 그런 곳 근처에 있지 않다.
5. 계량기 뒤 발전(Behind-the-meter generation). 소형 모듈 원자로(Small modular reactors, SMR), 지열 에너지, 현장 태양광+저장 시스템 등이 있다. Microsoft가 2024년에 Three Mile Island를 재가동하기로 한 계약이 가장 주목받는 사례이다. SMR은 가장 투기적인 분야이지만, 물리적으로 볼 때 24시간 연중무휴 고밀도 부하에는 원자력이 유리하다. 대부분의 미국 시장에서 전력망 연결 대기열(Grid interconnection queues)은 3년에서 7년에 달하며, 이는 GPU 세대의 유효 수명보다 긴 기간이다.
6. 알고리즘 효율성(Algorithmic efficiency). 이 부분이야말로 업계가 과소평가하는 지점이다.

양자화(Quantization), 증류(distillation), 추측 디코딩(speculative decoding), 그리고 MoE 라우팅은 동일한 품질을 유지하면서 추론 에너지 소비를 5배에서 10배까지 줄일 수 있습니다. 적절한 하드웨어에서 실행되는 4비트 양자화된 70B 모델은 많은 작업에서 16비트 버전과 유사한 성능을 훨씬 낮은 전력으로 구현할 수 있습니다. 가장 저렴한 와트는 사용하지 않는 와트입니다. 패턴에 주목하세요. 모든 대안은 자본 비용, 운영 복잡성, 지리적 유연성 사이의 트레이드오프(tradeoff)입니다. 공짜 점심은 없습니다. 오직 다른 청구서만 있을 뿐입니다.

아무도 말하고 싶어 하지 않는 물리적 한계 (The Physics Limit)
이것이 모든 벤더 백서에 숨겨져 있는 부분입니다.
열역학 제2법칙(second law of thermodynamics)은 일을 하지 않고는 열을 버릴 수 없다고 말합니다. 주변 온도가 높을수록 더 어려워집니다. 랙의 밀도가 높아질수록 단위 부피당 더 많은 일이 필요합니다. 이를 깨뜨리는 기술은 없습니다.
이것이 실제로 의미하는 바는 다음과 같습니다: AI 산업의 열 문제는 모델 규모가 커질수록 나아지기보다 악화됩니다. 동일한 효율로 컴퓨팅을 10배 늘린다는 것은 반드시 어딘가로 빠져나가야 하는 열도 10배 증가한다는 것을 의미합니다. 효율성 개선은 시간을 벌어줄 뿐, 방정식을 바꾸지는 못합니다.
유일한 해결책 경로는 다음과 같습니다:

• 컴퓨팅 규모 확대를 중단한다 (정치적, 상업적으로는 어려움)
• 풍부하고 깨끗한 전력을 가진 곳으로 이동한다 (아이슬란드, 노르웨이, 퀘벡 등 몇몇 지역이며, 이들 지역은 포화 상태입니다)
• 현장에서 발전 시설을 구축한다 (SMRs, 지열발전 등, 배치에 10년이 걸림)
• 컴퓨팅 자체를 근본적으로 더 효율적으로 만든다 (양자화, 증류, 더 나은 아키텍처 등, 도움이 되지만 문제를 완전히 없애지는 못함)

AI 규모 확대를 예측한다면, 당신은 이 네 가지 중 하나에 암묵적으로 베팅하는 것입니다. 이 분야에서 활동하는 대부분의 사람들은 어떤 것을 선택해야 할지 생각하지 않았습니다.

실제로 해야 할 일 (What To Actually Do)
행동할 수 있을 만큼 구체적인 세 가지 방안입니다.

1. 인프라 모니터링에 열 및 물 지표를 추가하십시오. 의미 있는 규모로 추론이나 학습을 수행하고 있다면, 다음 항목들을 측정하도록 장비를 갖추십시오:

AI 워크로드의 최소한의 지속 가능성 텔레메트리 지표

metrics = {
"gpu_power_w": gpu_power_draw(), # GPU당 전력 소비량
...

모든 필드를 채울 수 없다면, 당신은 당신의 발자국(footprint)을 모르는 것입니다. 거기서부터 시작하세요.

1. 토큰당 에너지(tokens-per-joule)를 일급 지표로 취급하세요. 대부분의 팀은 지연 시간(latency)과 백만 토큰당 비용에 최적화합니다. 대시보드에 토큰당 에너지를 추가하세요. 추측 디코딩(speculative decoding)을 사용한 4비트 양자화 모델은 대부분의 작업에서 품질 손실이 최소화되면서 토큰당 에너지를 3배에서 8배까지 절감할 수 있습니다. 이것은 틈새 최적화가 아닙니다. 오늘날 이용 가능한 가장 높은 레버리지 효율성 개선책입니다.
2. 세금 감면을 위해서가 아니라 물리학을 위해 부지를 선택하세요. 워크로드를 실행할 장소를 고를 때, 세제 혜택보다 기후(cold climate), 저탄소 전력망(low-carbon grid), 그리고 수자원 가용성을 더 중요하게 고려해야 합니다. 향후 10년간 데이터 센터 구축은 토지 비용이 아니라 상호 연결 대기열(interconnection queues)과 물 권리(water rights)에 의해 제약받을 것입니다.

사고 모델 (The Mental Model)

제가 유지하길 바라는 관점입니다. AI의 환경적 비용은 부수적인 영향이 아닙니다. 이는 산업 전체에 걸친 물리적 처리량 제약 조건이며, 단기적으로 아무리 많은 자본으로도 공학적으로 해결할 수 없는 유일한 제약입니다. 컴퓨팅 파워는 돈에 비례하여 확장됩니다. 물과 열 방출은 물리학에 비례하여 확장됩니다. 이 불일치가 위기입니다.

흥미로운 질문은 AI가 지속 가능할 수 있느냐가 아닙니다. 산업이 모델 아키텍처나 칩 설계에서 다루는 방식처럼 열 관리를 핵심 공학 분야로 취급할 것인가 하는 것입니다. 그렇지 않으면 제약 조건들이 문제를 강요하기 전까지 말입니다. 이 부분을 제대로 처리하는 기업들은 향후 10년간 구조적 우위를 점하게 될 것이고, 그렇지 못한 기업들은 가뭄 속에서 물 권리를 사게 될 것입니다.

당신의 생각은 어떻습니까? AI 인프라 분야에서 일해 본 경험이 있다면, 당신의 경험상 실제 병목 현상은 무엇입니까: 전력, 물, 칩, 아니면 완전히 다른 무언가입니까? 댓글로 남겨주세요. 특히 외부에서 보는 것만큼이나 실제로 논의가 부족한 부분이 수자원 문제인지 궁금합니다.