45°C 냉각 설계로 데이터센터 물 사용량을 거의 0으로 줄임

“실외 공기가 안정적으로 시원한 지역”이라는 조건이 바로 함정임
“추운 곳에 데이터센터를 지어 냉각 자원을 아끼고, 폐열을 주변 환경에 통째로 버려 오염시키자”는 얘기처럼 들림
Nvidia가 뭔가 좋은 걸 만든 줄 알 뻔했음

그래서 Greenland를 그렇게 원하나 싶음
낮은 기온, 넓은 빈 공간, 큰 자연환경 이슈가 적고, 있어도 항의할 시민이 많지 않음
냉각에 물이 더 필요하면 녹는 얼음에서 충분히 쓸 수도 있을 듯함

겨울에는 그 열이 정말 반가울 것 같음 공짜 난방이라니 좋지 않나
Linus도 남는 CPU 열로 수영장을 데움
핵심은 겁먹지 말고 현명하게 쓰는 것이고, AI와 데이터센터는 계속 남을 테니 싸우기보다 폐열을 수익으로 활용할 수 있음

데이터센터 폐열이 실제로 문제인지 잘 모르겠음
냉각수를 바다가 아니라 강에 바로 버릴 때 원전 폐열이 문제가 된다는 얘기만 들어봤음

LLM 지연시간이면 별로 체감 못 할 듯함

추운 나라에서는 따뜻한 물이 꽤 유용할 수 있음
예를 들어 주택 난방에 쓸 수 있음

흥미로운 시너지가 생김: 지역난방
45°C는 낮지만 지역난방 순환망에 못 쓸 정도는 아니고, 데이터센터가 열을 무료로 제공한다면 지역사회에 꽤 좋은 제안을 할 수 있음
근처 데이터센터의 지역사회 가치는 거의 0에서 연간 수백만 달러까지 올라갈 수 있음
여름은 여전히 문제지만 재미있는 해법도 가능함
지질 조건이 맞으면 여름에 지하 공간을 데워 두었다가 겨울에 그 열의 일부를 회수할 수 있을 것 같음
많은 기후권에서는 사람들이 천창을 멍청하게 쓰지 않는 한, 연간 냉방비보다 난방비가 훨씬 큼 [0]
[0] 대략적인 계산으로, 전도와 공기 교환에 따른 난방·냉방 부하는 실내외 온도 차에 비례함
겨울 실외 온도 -10°F30°F는 드물지 않고, 실내 70°F와는 4080°F 차이임
반면 이런 기후의 여름 실외 온도는 95°F를 넘는 경우가 드물고 대체로 더 낮아서 냉방 차이는 15~25°F 수준임
열펌프도 온도 차가 작을수록 효율이 좋아짐
복사열 난방은 완전히 다른 이야기임

Finland에서는 데이터센터 열을 60~90°C로 끌어올려 지역난방에 씀
신축은 보통 열펌프를 쓰는 추세임 [1]
Mäntsälä의 75MW 데이터센터는 10년 동안 마을 난방의 2/3, 즉 2,500가구분을 공급해 왔음 [2]

Microsoft는 이미 Finland의 Espoo와 Kirkkonummi에서 지역난방에 연결된 데이터센터를 짓고 있음
열펌프는 정말 대단함
계절별 열 저장도 이미 쓰이는 기술이고, Espoo 인근에는 수십 GWh 규모 저장소가 있으며 90GWh짜리 새 동굴 저장소도 진행 중임
시스템들이 서로 연결돼 있는지는 모르겠음

Netherlands에서는 이미 열 형태의 폐에너지를 온실로 보내 겨울 난방에 쓰고 있음
기사에서 이 공학 문제가 전에는 해결된 적 없다고 한 것도 흥미로움
Google은 칩을 예전보다 더 뜨겁게 돌리는 방식을 먼저 개척했고, 소비자용 PC에서도 수랭은 오래전부터 있었음
적어도 30년은 됨
새로워 보이는 건 모든 칩을 순환 회로에 붙였다는 점인데, PSU는 어떻게 처리했는지 찾지 못했음

45°C가 낮은 쪽 온도라면, 지역사회 쪽 열교환기에는 더 높은 온도의 물을 보낼 수 있는 것 아닌가 싶음
그리고 45°C 이하가 되어 돌아오는 구조일 수 있음

북유럽에서는 이미 쓰이고 있음
추운 겨울이 있는 북반구 대부분의 데이터센터에서도 그럴 가능성이 큼

내가 놓친 걸 수도 있지만, 여기서 혁신이 뭔지 잘 모르겠음
평소보다 높은 온도의 액체 냉각수를 쓴다는 건 알겠는데, 왜 전에는 못 했는지 모르겠음
기사 비교는 대부분 공랭 데이터센터 기준인데, 다른 수랭 데이터센터와 비교하면 어떤가
이전 데이터센터 설계에서도 누군가는 필요한 동작 온도, 에너지 사용량, 발생 열량 등을 계산했을 텐데 말임
편집: 방금 이 부분을 봤음
“기존 수랭 서버는 하이브리드였다. GPU와 CPU에는 콜드 플레이트가 붙었지만 나머지 시스템은 공랭으로 남아 있었고, 핀 달린 방열판이 움직이는 공기로 열을 빼도록 설계됐다. 완전 수랭 서버에서는 이런 구성 요소의 냉각을 액체 기반으로 완전히 다시 설계해야 했다.”

“혁신”은 이제 모든 부품이 수랭 블록에 붙었다는 점임
나머지는 마케팅에 가까움
Cray 슈퍼컴퓨터는 이미 1980년대에 유체 냉각을 썼고, 보드 전체에 불활성 액체가 흘렀음

2011년쯤 대기업들이 기존 72°F(22°C) 대신 95°F(35°C) 에 가까운 온도로 공랭 데이터센터를 운영하는 게 꽤 큰 변화처럼 보였음
거기서 조금 더 올리는 게 엄청 흥미롭지는 않아도 여전히 혁신이라고 볼 수 있음

하드웨어가 지속적으로 더 뜨거운 조건에서 동작하도록 설계돼야 함 냉각 비용과 고장률·설비투자 사이에는 절충이 있음

추측이지만, 이 방식으로 CPU와 GPU를 데이터센터 규모에서 “효과적으로” 냉각한 적이 없었을 수 있음
이런 부품은 쉽게 100°C를 넘을 정도로 뜨거워지기 때문에, 순환 회로가 55°C에서 안정적으로 유지하려면 많은 일을 해야 함
혁신은 데이터센터의 여러 부분에 냉각수를 얼마나 빠르게, 얼마나 많이 흘려보내 온도를 조절하느냐에 있을 수 있음
물론 모든 부품을 팬 없는 설계와 호환되도록 다시 설계한 것도 포함됨
Nvidia가 예전보다 훨씬 수직 통합돼 있어서 가능해진 일 같음

밀폐형 수랭 시스템이 막대한 물을 써야 할 이유는 원래 없었음
그런데 최신 방식이라는 게 물을 쓰고 배출하는 쪽으로 굳어졌음
데이터센터도 다른 산업 시설처럼 마음대로 해도 되는 도시·카운티·주를 찾아가 편한 대로 운영하고, 그게 유일한 방식인 것처럼 익숙해지는 듯함
여러 지역사회가 반발하고 환경 피해를 호소해도 무시됐지만, 기술 사양이라면 받아들여질 수도 있음

“유리한 기후에서 Nvidia의 45도 액체 냉각 아키텍처…”라고 하는데, 당연히 Greenland 말고 유리한 기후가 뭔지 궁금함
글에는 외부 온도와 효율·비용의 상관관계가 너무 부족함
대략적인 설명이라도 있었으면 좋겠음

솔직히 이게 문제의 일부임
45°C 출수 온도를 보장하려면 실외 공기가 대략 37°C 이하여야 함
대부분 지역에서는 일부 시간 동안 여전히 냉각탑이나 압축기가 필요해서 관련 인프라를 다 지어야 함
그래도 사용량을 줄이는 것만으로도 물이나 에너지를 크게 절약할 수 있음
예를 들어 London 외곽은 꽤 온화하다고 생각할 수 있지만, 이번 주만 해도 보조 냉각이 필요했을 가능성이 큼
여기 데이터센터라면 냉각 시스템을 40°C를 넘는 실외 온도에도 버티도록 설계하는데, 이제 그 수치가 보수적인 가정도 아님
또 Nvidia가 45°C 물 공급에 만족하더라도, 35°C 같은 더 낮은 온도에서 하드웨어 수명이 더 길어질 가능성이 큼
GPU는 비싸고, 수명 연장이 물이나 에너지를 조금 더 쓰는 것보다 가치 있을 수 있음
실제로는 AI 연산 장비 “옆”에 저장 서버, 추가 CPU 연산 장비, 네트워크 스위치 같은 공랭 시스템도 있을 가능성이 높음
그래서 별도 공간과 냉각 시스템이 필요할 수 있음
그래도 큰 진전임

이걸 읽고도 왜 돌파구인지 모르겠음
대부분의 상업·산업용 냉각 애플리케이션에 이미 있는 폐쇄식 냉각 순환 회로와 같아 보임
기사에서는 적절한 기후에서 물/글리콜 순환 회로의 열을 버리기 위해 라디에이터를 밖에 둘 수 있다고 함
그러면 북극이 아닌 곳은 여전히 응축 순환 회로가 필요하다는 뜻 아닌가
내가 뭘 놓친 건가

미터법/SI 단위를 쓰는 사람들을 위해 말하면, 90°F는 32.22°C, 305.37K임
미군과 NASA도 이제 미터법을 쓰지 않나

끔찍한 AI식 글에 실망한 사람들을 위해 요약하면, 이건 완전 수랭 데이터센터 설계에 관한 이야기임
서버 냉각의 일반적인 방식은 데스크톱이나 노트북처럼 뜨거운 하드웨어에 방열판을 붙이고 공기로 식히는 것임
하드웨어가 더 조밀하고 강력해질수록 더 큰 방열판과 더 차가운 공기가 필요함
어느 순간 공간 제약 때문에 방열판을 더 키울 수 없고, 소음과 효율 때문에 공기도 더 빠르게 불어넣을 수 없음
그러면 흡입 공기를 식히기 위해 물을 증발시키는 냉각기를 돌리게 됨
우리가 피하고 싶은 막대한 물 소비가 여기서 생김
다음 단계는 당연히 액체 냉각임
이것도 고급 게이밍 데스크톱과 비슷함
공간이 제한된 내부에서는 작은 열교환기로 액체 매질에 많은 열을 넘기고, 외부에서는 냉각수와 실외 공기의 온도 차가 작더라도 거대한 열교환기로 열을 버릴 수 있음
이 기사는 CPU, GPU, 메모리, 네트워킹까지 전부 완전 액체 냉각하는 시스템에 관한 것임
그게 실제로 멋진 부분임
거기에 더해 이 해법은 냉각수를 꽤 따뜻하게 운전할 수 있도록 최적화돼 있음
이는 하드웨어 쪽 열유속을 제한하지만, 외부 열교환기를 “건식”으로 돌릴 수 있게 해 물의 잠열을 낭비하지 않게 해줌

여러 다른 용도와 비교하면 데이터센터 물 사용은 이미 거의 0에 가까웠음
애초에 PR이나 이미지 문제에 가까운 것을 “문제 해결”이라며 큰 홍보와 함께 많은 노력을 쏟는 걸 보면 늘 우울해짐

“여러 다른 용도와 비교하면”이라는 모호한 표현이 네가 하려는 말을 완전히 약화시킨다는 건 알지

왜 하필 45°C이고, 왜 수랭인가
모든 걸 실온 또는 약간 차가운 공기에 맞춰 만드는 게 이상한 선택처럼 느껴짐
이미 290K~300K 정도인데, 이제 320K나 330K에서도 잘 돈다는 얘기 아닌가
왜 그냥 200°C 근처에서 동작하도록 설계하고, 주변 공기를 밀어 넣는 자유 냉각을 쓰면 안 되는지 궁금했음
왜 데이터센터는 닭장처럼 생기지 않았을까
뭔가 녹나
고온에서 다른 종류의 오류가 더 많아지나

반도체 재료는 띠 간격이 비교적 작음
아주 적은 추가 에너지만 받아도 절연체에서 도체가 될 수 있는 물질임
반대로 좋은 절연체는 전도하기 시작하기 전에 타 버리거나 플라즈마가 됨
에너지는 결국 에너지라서 주변 열이 충분히 높으면 띠 간격이 작기 때문에 전자를 더 높은 궤도로 밀어 올릴 수 있음
정상적인 주변 온도에서도 이런 일이 생기지만, 전자가 멀리 가지 못하고 수가 많지 않음
200°C에서는 닫힌 게이트가 전자 이동을 충분히 막지 못함
대충 손을 흔들어 설명한 기술적 이유는 이렇고, YouTube의 Project in Flight에 반도체 동작 원리를 잘 설명한 영상이 있음

이런 칩을 200°C에서 동작하게 만드는 건 매우 어려움
반도체의 전기적 특성은 온도에 따라 크게 달라짐
완전히 다른 칩과 완전히 다른 제조 공정이 필요할 것임