적절한 냉각이 하드웨어의 수명을 보장하고 잠재력을 최대한 발휘할 수 있게 한다는 점은 비밀이 아닙니다. 하지만 데이터 센터 AI 하드웨어의 경우, 적절한 냉각은 더 높은 지속 성능(sustained performance)을 의미하며, 이는 소유자가 벌어들이는 수익으로 직결됩니다. 반도체 등급의 도구를 사용하여 냉각 솔루션을 제작하는 Frore Systems는 차세대 AI 가속기(AI accelerator)의 온도를 낮추고 성능을 15% 향상시키는 방법에 대해 완벽한 아이디어를 가지고 있는 것으로 보입니다.

Tom's Hardware Premium Roadmaps

a snippet from the HBM roadmap article

(이미지 출처: Future)

• 고대역폭 메모리 (HBM) 로드맵
• Nvidia 엔터프라이즈 GPU 및 CPU 로드맵
• AI 가속기 로드맵
• 데스크톱 GPU 로드맵
• 3D NAND 로드맵

Frore Systems는 지난주 백서(white paper)를 발표했는데, GPU 패키징과 열 계면 물질 (TIMs)부터 콜드플레이트 (coldplates) 및 냉각수 온도에 이르기까지 냉각 스택 (cooling stack) 전체를 개선하면 와트당 토큰 생성량 (token generation per watt)을 30% 이상 높일 수 있다고 제안했습니다. 한편, 분석적 열 모델(analytical thermal model)*에 기반한 이 회사의 가장 대담한 예측 중 하나는, 자사의 LiquidJet 콜드플레이트 기술만으로도 Nvidia Rubin GPU의 정션 온도 (junction temperatures)를 최대 12°C까지 낮출 수 있다는 것입니다. 이는 와트당 토큰 (tokens/Watt) 성능을 10%에서 25%까지 향상시키는 결과로 이어지며, 10°C의 온도 감소는 토큰 생성을 약 15% 증가시킬 수 있습니다.

실제로 곧 출시될 Nvidia Rubin과 같은 현대적인 AI 가속기 (AI accelerators)들은 최대 2,400W까지 방출할 수 있으며, 다이 온도 (die temperatures)는 쉽게 95°C 이상에 도달할 수 있습니다. 95°C가 실리콘의 수명 측면에서 반드시 문제가 되는 것은 아니지만, 누설 전류 (leakage current)는 확실히 문제가 됩니다. 누설 전류는 온도에 따라 기하급수적으로 증가하며, 최대 정션 온도 (maximum junction temperature)가 10°C 상승할 때마다 대략 두 배로 증가합니다. 이때 트랜지스터 스위칭 (transistor switching) 자체의 효율도 떨어지게 됩니다. 결과적으로, 온도가 높은 GPU는 클럭 (clocks)을 유지하기 위해 더 높은 전압을 필요로 하며, 이는 결국 동적 전압 및 주파수 스케일링 (DVFS)이 열 제한 범위 내에 머물기 위해 클럭을 낮추도록 강제하게 되고, 이는 다시 성능과 토큰 생성을 감소시킵니다.

Frore Systems

(이미지 출처: Frore Systems)

이 모든 것은 단순한 결론으로 이어집니다: 냉각이 더 좋을수록 성능과 토큰 출력은 더 높아진다는 것입니다. 이는 일반적으로 맞는 말입니다. 하지만 냉각은 최적화할 수 있는 여러 요인에 달려 있기 때문에 그렇게 간단하지 않습니다. 더욱이 AI 데이터 센터의 경우, 냉각은 더 이상 CPU와 가속기를 과열로부터 보호하는 수단이 아니라, 성능과 토큰 수익 창출을 극대화하기 위한 실질적인 방법입니다.

Nvidia는 Tj(max) 온도를 기준으로 플랫폼을 설계합니다. 이는 GPU, 패키지 및 냉각 솔루션의 근본적인 설계 제약 조건 중 하나입니다. 작동 방식은 다음과 같습니다:

• Nvidia는 최대 허용 접합 온도 (Tj,max limit)를 지정합니다. 이는 정상 작동 중에 실리콘이 초과해서는 안 되는 온도입니다. 정확한 값은 항상 공개되어 있지는 않지만, Frore는 분석 과정에서 Rubin에 대해 95°C를 사용합니다.
• GPU는 다수의 또는 수백 개의 온다이 (on-die) 열 센서를 사용하여 접합 온도를 지속적으로 모니터링하지만, 전력 관리 시스템은 가장 뜨거운 영역을 모니터링합니다.
• DVFS (동적 전압 및 주파수 스케일링, Dynamic Voltage and Frequency Scaling)는 열 및 전력 제한 범위 내에 머물면서 성능을 극대화하려고 시도합니다. 따라서 GPU에 열적 여유 (thermal headroom)가 있다면 더 높은 클럭을 유지하거나 더 낮은 전압을 사용할 수 있습니다. 접합 온도가 상승하면 펌웨어는 전압과 주파수를 점진적으로 조정합니다. 필요한 경우, Tj(max)를 초과하는 것을 방지하기 위해 스로틀링 (throttling)을 수행합니다.

문제는 GPU가 열 제한 (Tj,max), 패키지 전력 제한, 전류 제한 및 전압 제한과 같은 여러 가지 제한 조건 하에서 동시에 작동한다는 점입니다. 일반적으로 열 제한에 도달하기 전에 전력 제한에 먼저 도달합니다. 한편, 현대적인 냉각 시스템은 실리콘이 Tj(max)에 도달하는 것을 방지하도록 설계되었습니다. 따라서 Nvidia의 GPU가 Tj(max)에 도달하지 않더라도, 작동 접합 온도를 낮추는 것은 온도가 낮아짐에 따라 트랜지스터 누설 (transistor leakage)이 감소하기 때문에 여전히 효율성을 향상시킵니다. 바로 이 지점에서 Frore와 그들의 냉각 시스템이 역할을 하게 됩니다.

Frore에 따르면, 접합 온도가 10°C 상승할 때마다 누설 전력 (leakage power)은 약 두 배로 증가하는 반면, 트랜지스터 스위칭 전력 (transistor switching power)은 동일한 온도 범위에서 약 2% 상승합니다. 따라서 프로세서가 열적 스로틀링 (thermal throttling)을 일으키지 않는 상황에서도 작동 온도를 낮추는 것은 유익합니다.

열 저항 (Thermal resistance)

Frore에 따르면, 하드웨어 제조사가 사용하는 최대 GPU 접합 온도는 겉보기에는 단순해 보이는 방정식에 의해 결정됩니다:

Tj(max) = Tinlet + Q × Rtotal

여기서 냉각수 입구 온도(coolant inlet temperature), GPU 전력(GPU power), 그리고 총 열 저항(total thermal resistance)이 실리콘의 온도를 결정합니다. 한편, 총 열 저항은 세 가지 주요 요소, 즉 GPU 패키지 자체, 패키지와 사이의 열 계면 물질(thermal interface material, TIM), 그리고 콜드플레이트(coldplate) 설계에 따라 달라집니다. 각 레이어가 열 저항을 추가함에 따라 다이(die) 온도가 상승하고 전반적인 토큰 수익 창출(token money generation) 능력이 감소합니다. 그럼에도 불구하고, 해당 논문에 따르면 열 저항은 주요한 문제로 부상하고 있습니다.

Frore는 Rubin 패키지를 델리딩(delidding)하는 것이 열 저항을 극적으로 낮춘다고 주장합니다(이는 당연한 사실이지만, 해당 논문이 분석적 열 모델(analytical thermal model*)에 기반하고 있다는 점을 다시 한번 언급해야 합니다). 논문에 따르면, 델리딩되지 않은 Rubin 패키지는 통합 히트스프레더(integrated heatspreader, IHS)가 있는 패키스에 비해 접합 온도(junction temperature)를 최대 20°C까지 낮출 수 있으며, 이는 잠재적으로 와트당 토큰 효율(tokens/Watt)을 최대 35%까지 향상시킬 수 있습니다. 물론 단점도 존재하는데, 델리딩된 GPU는 기계적 신뢰성(mechanical reliability)이 낮습니다. 이에 대해서는 나중에 다시 다루겠습니다. 어쨌든, Frore에 따르면 모든 위험에도 불구하고 토큰 수익 창출을 높이기 위해 델리딩된 Rubin GPU 사용을 검토하는 클라우드 시스템 제공업체들이 있습니다.

Frore Systems

(이미지 출처: Frore Systems)

Frore 자체의 기여는 물론 그들의 콜드플레이트(coldplate)에 있습니다. 전통적인 콜드플레이트는 일반적으로 구리 블록 내부에 길고 곧은 마이크로 채널(microchannels)을 만드는 가공 공정인 스카이빙(skiving)을 사용하여 제조됩니다. 대신 Frore는 반도체 제조 기술인 식각(etching)과 본딩(bonding)을 차용하여, 가속기 실리콘의 핫스팟(hotspots) 문제를 해결하는 복잡한 3차원 구리 미세 구조(microstructures)를 구축합니다. Frore에 따르면, 이러한 독특한 미세 구조는 전통적인 가공 방식으로는, 적어도 비용 효율적으로는 생산할 수 없다고 합니다.

Frore Systems

(이미지 출처: Frore Systems)

효율성 향상

LiquidJet 설계는 핫스팟 (hot spots) 주변에 식각된 짧은 미세 채널 (microchannels), 다단계 냉각 단계, 그리고 GPU의 전력 밀도 맵 (power-density map)에 최적화된 유량 경로 (flow routing)를 특징으로 합니다. 회사의 분석에 따르면, 이를 통해 Nvidia Rubin GPU*의 경우 정션 온도 (junction temperature)를 6°C에서 12°C까지 낮추고, 토큰/와트 (tokens/Watt) 효율을 10%에서 25%까지 향상할 수 있다고 합니다. 논문은 약 10°C의 온도 감소가 토큰 생성 효율의 약 15% 향상에 해당한다고 주장합니다.

Frore Systems

Frore Systems

Frore Systems

Frore Systems

Frore Systems

Frore Systems

Frore는 콜드플레이트 (coldplate) 효율의 향상이 데이터 센터 냉각의 경제성을 변화시킨다고 주장하며, 이는 하이퍼스케일러 (hyperscalers)의 고려 사항 중 가장 중요한 부분임이 분명합니다. Nvidia는 최대 45°C의 냉각수가 유입되는 환경에서도 작동할 수 있도록 Rubin을 설계했으며, 이를 통해 많은 AI 데이터 센터가 기계식 칠러 (mechanical chillers) 없이 완전히 '프리 쿨링 (free cooling)'에 의존할 수 있게 합니다. 유입 온도를 낮추는 것이 GPU 효율을 더욱 향상시킬 수는 있지만, 이는 칠러가 소비하는 에너지가 그로 인해 증가하는 토큰 생성 수익에 의해 상쇄될 때만 경제적 타당성을 갖습니다. 한편, LiquidJet은 동일한 정션 온도를 유지하는 데 더 낮은 냉각수 유량을 필요로 하기 때문에, 추가 냉각이 가치가 있게 만들기 위해 요구되는 칠러의 성적 계수 (COP, Coefficient of Performance)를 낮춰줍니다.

Frore Systems

(이미지 출처: Frore Systems)

Frore의 예시에서, 기존의 스카이브드 콜드플레이트 (skived coldplate)가 장착된 Rubin GPU는 더 차가운 냉각수가 순이익 효율을 제공하기 전까지 약 6.7의 칠러 COP가 필요하지만, LiquidJet은 손익분기점 COP를 약 4.1까지 낮추어 다양한 배포 환경에서 기계식 냉각을 경제적으로 매력적이게 만듭니다.

Frore의 분석에서 흥미로운 점 중 하나는, LiquidJet이 Blackwell 데이터 센터 GPU*와 비교했을 때 Rubin 데이터 센터 GPU에서 더 효율적이라는 것인데, 이는 Rubin의 더 높은 트랜지스터 밀도 (transistor density) 때문입니다.

Frore의 분석은 자사 냉각 시스템의 장점을 탐구하는 데 그치지 않습니다. 이 회사의 분석적 열 모델 (analytical thermal model)은 개선된 냉각 및/또는 낮아진 열 저항 (thermal resistance)이 온도, 나아가 토큰 생성 (token generation) 수익에 어떻게 영향을 미칠 수 있는지에 대한 다른 수단들로까지 확장됩니다.

Frore Systems

(이미지 출처: Frore Systems)

Frore의 가장 놀라운 주장 중 하나는 Nvidia의 차기 Rubin에 관한 것입니다. Frore는 GPU 패키지를 델리디드 (delidding) 하는 것 — 즉, IHS (Integrated Heat Spreader)와 다이(die) 및 덮개 사이에 배치된 그래핀 TIM (Thermal Interface Material)을 제거하는 것 — 이 열 저항을 극적으로 낮춘다고 주장합니다. Frore가 사용한 모델에 따르면, 이는 IHS가 있는 일반 GPU와 비교했을 때 정션 온도 (junction temperature)를 최대 20°C까지 낮추며, 결과적으로 와트당 토큰 (tokens per Watt) 효율을 최대 35%까지 향상시킵니다.

한편, 델리디드 GPU의 기계적 신뢰성 (mechanical reliability)은 주요 우려 사항이 됩니다. IHS가 없으면, TSMC의 CoWoS-L 기술을 사용하여 패키징된 베어 (bare) Rubin GPU는 두 Rubin 다이를 연결하는 브릿지 (bridge)가 균열될 위험이 상당히 높아집니다. 실제로 Hopper 시대에도 특정 수랭식 쿨러를 사용할 때 일부 GPU가 말 그대로 균열이 발생한 사례가 있었습니다. 또한, 여러 개의 노출된 다이 전체에 걸쳐 균일한 접촉 압력 (contact pressure)을 유지하는 것은 모놀리식 (monolithic) 프로세서의 경우보다 훨씬 더 어렵습니다. 그럼에도 불구하고, 토큰 생성량과 수익 출력을 높이기 위해 델리디드 Rubin GPU의 사용을 검토하고 있는 하이퍼스케일러 (hyperscalers)들이 존재합니다.

열 인터페이스 물질 (Thermal interface materials) 또한 똑같이 중요한 역할을 합니다. 보도에 따르면 Nvidia의 Rubin은 기본적으로 금도금 접촉면을 가진 액체 인듐 금속 TIM을 사용하여 덮개가 있는 패키지의 열적 손실 (thermal penalty) 문제를 해결합니다. Frore는 PTM7950과 같은 고성능 상변화 물질 (phase-change material)과 결합된 언리디드 (unlidded) 패키지가 액체 금속을 사용하는 리디드 (lidded) 패키지보다 여전히 더 낮은 전체 열 저항을 나타낸다고 주장합니다. Frore의 모델에 따르면, 이는 정션 온도를 최대 14°C 낮추고 와트당 토큰 수익 (money tokens/Watt)을 최대 28%까지 증가시키는 결과로 이어집니다.

요약

Frore 백서의 핵심은 냉각이 AI 데이터 센터 수익성을 결정짓는 핵심 요소가 되었다는 점입니다. 이는 낮은 GPU 정션 온도 (junction temperature)가 단순히 과열을 방지하는 것을 넘어, 토큰 생성 효율을 향상시키기 때문입니다.

분석적 열 모델 (analytical thermal model)에 기반한 백서에서, 이 회사는 자사의 LiquidJet 콜드플레이트 (coldplate)가 Nvidia Rubin의 정션 온도를 6°C에서 12°C까지 낮추고 토큰/와트 (tokens/Watt)를 10%에서 25%까지 증가시킬 수 있다고 주장합니다. 또한, 온도를 10°C 낮추면 토큰 생성을 약 15%까지 끌어올릴 수 있습니다.

더불어, 이 회사는 더 효율적인 콜드플레이트가 냉각 전력 소비를 상쇄하는 데 필요한 칠러 (chiller)의 손익분기점 효율을 낮춤으로써, 더 넓은 범위의 AI 데이터 센터에서 기계식 냉각 (mechanical chilling)을 경제적으로 실행 가능하게 만든다고 주장합니다.