물리학은 연산(Computation)에 대한 최소 에너지를 설정하지 않으며, 오직 정보를 지우는 것에 대해서만 설정합니다. 이 사실은 진실이며, 아름답고, 여러분의 실제 데이터 센터 청구서보다 10자릿수(ten orders of magnitude)나 낮은 수치입니다. 진짜 교훈은 이 에세이가 자신의 제목과 벌이는 논쟁에 있습니다.

2012년, 리옹(Lyon)의 한 실험실에서 물리학자 팀은 단 하나의 유리 구슬이 1비트(bit)의 정보를 잊어버리는 과정을 지켜보았고, 그 과정에서 발생하는 열을 측정했습니다.

그해 3월 _Nature_지에 Bérut과 동료들이 발표한 실험 설정은 “변조된 이중 우물 퍼텐셜(modulated double-well potential)에 갇힌 단일 콜로이드 입자”였습니다. 즉, 레이저로 만들어진 두 개의 에너지 골짜기(왼쪽 골짜기 또는 오른쪽 골짜기) 중 하나에 놓인 미세한 구슬로, 물리적인 0 또는 1을 의미합니다. 비트를 지운다는 것은 구슬이 어디서 시작했는지와 상관없이 지정된 하나의 골짜기로 강제로 밀어 넣어, 이전에 어디에 있었는지에 대한 기록을 파괴하는 것을 의미합니다. 51년 전, IBM의 물리학자 Rolf Landauer는 이러한 파괴에 어떤 비용이 들어야 하는지를 정확히 예측했습니다. 즉, 논리적으로 가역적이지 않은(logically irreversible) 모든 연산, 정보를 버리는 모든 단계는 지워진 비트당 최소 kT ln 2만큼의 열을 방출해야 한다는 것입니다. 상온에서 이는 약 2.9 제프토줄(zeptojoules)로, 1줄(joule)의 21자리 영점이 붙는 아주 작은 분수입니다. 리옹의 실험은 이를 확인했습니다: “평균 방출된 열은 긴 삭제 사이클의 한계에서 Landauer 경계(Landauer bound)에 포화된다.”

이 구슬이 데이터 센터를 생각하는 사람들을 위한 에세이에 포함되어야 하는 이유가 바로 여기에 있습니다. Landauer의 1961년 원리와 그의 IBM 동료인 Charles Bennett가 1973년에 발표한 동반 결과는, 연산의 에너지 비용이 어디에 존재하는지에 대해 진정으로 기묘한 사실을 말해줍니다. Bennett는 정보를 결코 버리지 않는 논리적으로 가역적인(reversible) 연산의 경우, 알려진 열역학적 하한선이 전혀 없음을 보여주었습니다. 에너지에 대해 양(+)의 최소치를 설정하는 물리 법칙은 존재하지 않습니다. 하한선은 오직 삭제(erasure)에만 붙습니다. 물리학은 당신에게 연산에 대한 비용을 청구하지 않습니다. 당신이 잊어버리는 것에 대해 비용을 청구합니다.

그것이 이 에세이의 제목이며, 근본적인 한계에 대한 진술로서 이는 사실입니다. 산술 연산(arithmetic) 자체가 메가와트(megawatts)를 소모한다는 모든 AI 에너지 관련 헤드라인 뒤에 숨겨진 직관은 물리학을 거꾸로 이해하고 있습니다. 따라서 여러분은 다음과 같은 실질적인 교훈을 기대할지도 모릅니다. '칩이 덜 잊게 만들면 에너지 문제는 사라질 것이다'라고 말이죠.

하지만 그렇지 않습니다. 그리고 그렇지 않은 이유는 제목이 약속하는 교훈보다 더 나은 교훈이 될 것임이 드러났습니다. 제 이야기를 끝까지 들어보세요. 이 에세이는 자신의 제목에 반론을 제기할 것이며, 그 논쟁 속에 진정한 가치가 있기 때문입니다.

칩이 실제로 지불하는 비용

란다우어 한계(Landauer floor)를 하나의 단위로 진지하게 받아들이고, 현대의 기계를 이에 비추어 가격을 매겨봅시다.

상온에서 1비트(bit)를 삭제하는 비용: 약 2.9 제프토줄(zeptojoules), 즉 2.9 × 10⁻²¹ 줄(joules)입니다. 더블워드(doubleword)의 64비트 전체를 삭제하는 비용: 약 1.8 × 10⁻¹⁹ 줄입니다. 이 숫자를 기억해 두십시오.

이제 공학적인 측면을 살펴보겠습니다. 실제 실리콘에서 연산이 비용을 얼마나 차지하는지에 대한 표준적인 계산은 Mark Horowitz의 2014년 분석이며, 이는 여전히 아키텍처 커뮤니티가 논거로 삼는 기준점입니다(그 이후 격차는 좁혀지기는커녕 더 벌어졌습니다). 해당 데이터셋의 대략적인 수치는 다음과 같습니다. 64비트 부동 소수점 연산(floating-point operation)은 0.4에서 3.7 피코줄(picojoules)이 소모됩니다. 온칩 레지스터(on-chip register) 접근은 약 6 피코줄입니다. 캐시(cache) 접근은 크기에 따라 10에서 100 피코줄입니다. 그리고 오프칩 DRAM 접근은 1,300에서 2,600 피코줄입니다.

이 수치들을 란다우어 한계와 비교해 보고, 인용된 수치로부터 도출된 이 산술적 계산을 저의 것으로 명명하겠습니다. 64비트 부동 소수점 연산은 64비트를 삭제하는 란다우어 비용보다 수백만 배에서 수천만 배 더 높습니다. 그리고 DRAM 페치(fetch)는 약 2 나노줄(nanojoules)로, 64비트 삭제 한계인 1.8 × 10⁻¹⁹ 줄과 비교했을 때, 동일한 데이터를 즉시 파괴하는 열역학적 비용보다 약 100억 배 더 높습니다.

100억입니다. 10자릿수(ten orders of magnitude) 차이입니다. 방금 그 숫자를 보고 당신의 직관이 무엇을 했든, 한 걸음 더 나아가 보십시오. 실제 어떤 기계에서든, 망각(forgetting)의 열역학적 비용은 반올림 오차(rounding error) 위의 반올림 오차에 불과합니다. 물리적 하한선(physics floor)은 삭제(erasure)에 의해 결정되지만, 실제 청구되는 비용은 완전히 다른 것에 의해 결정됩니다. 바로 비트(bits)를 물리적 거리 너머로 실어 나르기 위해 전선의 커패시턴스(capacitance)를 충전하고 방전하는 비용입니다. CMOS 게이트(gate)는 수행하는 연산이 정보를 파괴하든 그렇지 않든 에너지를 소모하며, 정보의 파괴는 부수적인 현상일 뿐입니다. 비트를 DRAM에서 레지스터 파일(register file)로 이동시키는 비용은 비트를 존재에서 비존재로 이동시키는 비용보다 훨씬 더 많이 듭니다.

이것이 바로 AI 추론(inference)의 경제성이 현재와 같은 이유이기도 합니다. 거대 모델을 서비스하는 것은 연산(arithmetic)에 제한을 받는 것이 아니라 메모리 대역폭(memory-bandwidth)에 제한을 받습니다. 업계의 아키텍처적 에너지는 데이터 지역성(data locality), 연산 장치에서 불과 몇 밀리미터 위에 쌓인 고대역폭 메모리(HBM), 가중치(weights)를 상주시키기 위한 노력, 그리고 페치(fetch) 비용을 분할 상환하기 위한 배치(batching) 처리에 투입됩니다. 아무도 삭제(erasure)를 최적화하지 않는데, 그 이유는 삭제가 비용 청구서에 포함된 적이 없기 때문입니다. 실제 수치로부터 개발자가 얻을 수 있는 교훈은 이 에세이의 제목과 거의 정반대입니다: "실제 컴퓨팅에서의 에너지 효율성은, 사실상 더 적게 움직이는 기술이다. 데이터를 가까이 두십시오. 거리는 적입니다. AI 에너지 관련 헤드라인에 등장하는 킬로와트시(kWh)는 압도적으로 비트를 실어 나르는 데 소비되며, 부차적으로는 그 결과로 발생하는 열을 실어 나르는 냉각에 소비됩니다."

유효하지만 구속력은 없는 법칙

그렇다면 랜드아워의 원리(Landauer's principle)가 실제 청구되는 비용보다 10자릿수나 아래에 있다면, 현업 기술자에게 어떤 가치가 있을까요?

이 지점이 바로 이 에세이가 제 역할을 하는 부분입니다. 물리 법칙을 그것이 '구속하는지(bind)' 여부에 따라 분류하는 법을 배우는 것은 전이 가능한 기술(transferable skill)이며, 이 분야는 이제 그 두 가지 종류를 모두 목격했기 때문입니다.

얼마 전 이 블로그는 소프트맥스(softmax)가 볼츠만 분포(Boltzmann distribution)라고 주장했습니다. 즉, 샘플링(sampling) 코드의 "온도(temperature)"는 1870년대 열역학에 대한 은유가 아니라 동일한 방정식이며, 그 물리학은 오늘날 작동하는 직관으로서 아무런 대가 없이 전이된다는 것입니다. 그것은 물리학적 결과의 한 종류인 항등식(identity)입니다. 이는 즉각적으로 결합됩니다.

란다우어(Landauer)는 다른 종류입니다. 현재로서는 결합되지 않는 경계(bound)입니다. 그것은 실재하며 실험적으로 확인되었지만, 여러분이 이번 10년 동안 출시할 그 어떤 것에도 제약을 가하지 않습니다. 왜냐하면 여러분의 시스템에 실제로 작용하는 제약은 커패시턴스(capacitance), 거리, 그리고 냉각이며, 이 모든 것은 엔지니어링(engineering)의 영역이지 근본적인(fundamental) 영역이 아니기 때문입니다. CMOS 한계에 대한 최근 분석(arXiv:2312.08595)에 따르면, 기존 실리콘의 상한선은 줄당 약 4.7 × 10¹⁵ 개의 4비트 연산으로 추정되며, 이는 현재의 마이크로프로세서보다 대략 200배 더 효율적입니다. 200배라는 수치가 실제로 활용 가능한 여유분(headroom)이며, 이는 란다우어(Landauer)에 접근함으로써 얻어지는 것이 아니라 동일한 물리학을 더 잘 엔지니어링함으로써 얻어집니다. 바닥이 너무 낮아서 게임에서 아무런 역할을 하지 못합니다. 법칙은 완벽하게 참이면서도 운영상으로는 무관할 수 있습니다. 따라서 여러분이 쥐고 있는 법칙이 어떤 종류인지, 즉 전이되는 항등식인지, 결합되는 경계인지, 아니면 기다리는 경계인지를 아는 것이 법칙 그 자체보다 더 가치 있습니다.

하지만 "기다린다"는 표현이 적절하며, 그 기다림은 날카로운 이빨을 가지고 있습니다. 왜냐하면 란다우어(Landauer)가 단순한 호기심의 대상이 아니라 연구의 전체 목표가 되는 하나의 연구 프로그램이 존재하며, 그 과정에서의 문제들이 이 이야기에서 가장 교훈적인 부분이기 때문입니다.

왜 여유분을 현금화할 수 없는가

만약 삭제(erasure)만이 물리학이 비용을 부과하는 유일한 요소라면, 절대 삭제하지 않는 컴퓨터, 즉 가역 컴퓨터(reversible computer)는 원칙적으로 임의로 낮은 에너지에서 작동할 수 있습니다. 베넷(Bennett)은 1973년에 이 논리를 증명했습니다. 사람들은 그 이후로 이를 구축하려고 노력해 왔으며, 세 가지 장벽이 계속해서 가로막고 있습니다. 각각은 검증되었고, 각각은 시사하는 바가 큽니다.

첫째, 시간으로 대가를 치러야 합니다. 가역성 (Reversibility)을 향한 실질적인 경로인 단열 스위칭 (Adiabatic switching)은 스위칭을 얼마나 느리게 하느냐에 정확히 비례하여 에너지를 절약합니다. 스위칭 시간이 무한대에 가까워질 때만 소산 (Dissipation)이 0에 수렴합니다. Lyon bead조차도 "긴 삭제 사이클의 한계 (in the limit of long erasure cycles)" 내에서만 Landauer 경계 (Landauer bound)에 근접했을 뿐입니다. 빠르게 삭제하면 추가적인 소산이 발생합니다. 가역 컴퓨팅 (Reversible computing)은 에너지 비용을 제거한다기보다 이를 시간 비용으로 전환하는 것에 가까우며, 추론 (Inference)과 같이 지연 시간 (Latency)에 민감한 워크로드의 경우 시간은 종종 더 비싼 화폐가 됩니다.

둘째, 메모리로 대가를 치러야 하며, 그 청구서는 말 그대로 계산 불가능합니다. 가역 연산 (Reversible computation)은 역전 가능성을 유지하기 위해 중간 결과물, 즉 소위 가비지 비트 (Garbage bits)를 보존해야 합니다. 가비지를 버리면 결국 Landauer 비용을 지불하게 되고, 이를 유지하면 가비지가 계속 축적됩니다. 설상가상으로, 이론 학계는 일반적으로 필요한 추가 저장 공간에 상한선이 없음을 보여주었으며, 주어진 연산에 대한 최소 가비지를 계산하는 것은 결정 불가능한 문제 (Undecidable problem)입니다. 메모리와 맞바꾼 에너지는, 그 교환 비율조차 알려줄 알고리즘이 없는 상태입니다.

셋째, 그리고 가장 날카로운 지점은 장치 그 자체가 이를 차단한다는 것입니다. _Scientific Reports_에 게재된 단열 초전도 논리 (adiabatic superconducting logic)에 관한 논문은 그 장애물을 단 한 문장으로 설명합니다: “CMOS와 에너지 효율적인 초전도 논리를 포함한 기존 논리 장치의 비트 에너지 (bit energy)는 최소 ~1,000 kBT보다 크며, 이는 가역 논리 게이트 (reversible logic gates)로 사용하기에는 너무 큽니다.” 이 아이러니를 곱씹어 보십시오. 오늘날의 장치와 란다우어 한계 (Landauer floor) 사이의 격차는 전체 프로그램이 수확하고자 하는 여유 공간 (headroom)이지만, 바로 그 격차가 수확을 불가능하게 만듭니다. 연산당 1,000 kT를 소모하는 게이트는 당신이 절약하려 했던 아주 작은 kT의 분율을 완전히 압도해 버립니다. 당신을 바닥에서 떨어져 있게 만드는 바로 그 물질로 만들어진 사다리를 타고 바닥으로 내려갈 수는 없습니다. 임계값 아래에서 실제로 작동함을 입증한 사례들은 4켈빈 (four kelvin) 환경의 이색적인 초전도 회로 내에 존재하며, _Communications of the ACM_과 같은 매체의 평가들은 냉정합니다: 그것들은 확장되지 않았으며, 냉각 장치가 필요한 대안들보다 더 실용적이지도 않습니다. (4켈빈이라는 세부 사항에는 또 다른 정직한 난점이 숨어 있습니다: 란다우어 한계는 온도에 따라 변하므로, 극저온 논리 (cryogenic logic)는 한계치 자체를 낮춥니다. 이것이 모든 난관에도 불구하고 초전도 컴퓨팅이 계속해서 재발명되는 이유 중 하나입니다.)

이 중 어느 것도 가역 컴퓨팅 (reversible computing)을 어리석은 것으로 만들지 않습니다. 오히려 그것을 공학적 로드맵이라기보다는 물리학적 프로그램으로 만듭니다. 즉, 우리가 대규모로 제작할 방법을 알고 있는 그 어떤 장치로도 현재는 도달할 수 없는, 실제 보상을 향한 진정한 주장입니다. 우수한 트랜지스터와 한계치 사이의 3자릿수(three orders of magnitude)에 달하는 “여유 공간 (headroom)”은 소비되기를 기다리는 효율성 예산이 아닙니다. 그것은 현재로서는 해자 (moat)입니다.

핵심 요약

일상적인 유용성이 높은 순서대로 세 가지를 정리합니다.

연산이 아니라 이동을 최적화하십시오. 워크로드에 대한 비용은 데이터 이동(data motion)에서 발생합니다. DRAM 페치(fetch)는 이를 공급하는 FLOP(부동 소수점 연산) 비용보다 천 배나 더 비싸며, 그 위로는 네트워크 홉(network hops)이 있고, 그 모든 것 위에 냉각 비용이 더해집니다. 에너지 효율을 프로파일링하거나, 추론(inference) 가격이 왜 그렇게 책정되는지 추론하거나, 차세대 가속기(accelerator)의 성능 주장을 평가할 때, 질문은 항상 로컬리티(locality, 지역성)입니다. 즉, 비트(bits)가 얼마나 멀리 이동하는가 하는 점입니다. 온칩 메모리(on-chip memory)에 들어가는 모델은 DRAM으로 넘쳐흐르는 모델보다 단순히 조금 더 저렴한 것이 아닙니다. 그것은 범주적으로(categorically) 더 저렴하며, 그 범주적 차이는 앞서 언급한 Horowitz 비율로 측정됩니다. 이것이 컴퓨팅의 실제 물리 법칙이 당신에게 제시하는 관점이며, 곱셈 연산이 비용을 발생시킨다는 통념과는 정반대되는 것입니다.

한계에 대해 예산을 세우기 전에, 그 한계들을 분류하십시오. Landauer의 원리는 당신의 문제보다 10자릿수(ten orders of magnitude)나 낮은 곳에 있는 엄격한 물리 법칙입니다. CMOS 천장(ceiling)은 불과 몇 백 배 차이밖에 나지 않는 공학적 한계이며, 당신의 냉각 예산은 이번 분기의 제약 사항입니다. 먼 미래의 근본적인 한계를 마치 이번 십 년의 로드맵을 제약하는 것처럼 취급하거나(또는 효율성이 거의 고갈되었다고 주장하기 위해 이를 인용하는 것)은 낙관적이든 비관적이든 모두 범주 오류(category error)입니다. 이러한 습관은 칩을 훨씬 넘어 일반화됩니다. 기술적 논쟁에서 언급되는 모든 "근본적인 한계"에 대해, 현재의 동작 지점(operating point)에서 실제로 무엇이 제약(bind)을 가하고 있는지 물으십시오. 그것은 대개 훨씬 더 지루하고, 훨씬 더 해결 가능한 무언가일 것입니다.

그리고 구슬(bead)을 명심하십시오. 바닥은 인내심이 강하기 때문입니다. 효율성이 두 배가 될 때마다 그 격차는 2의 거듭제곱만큼 좁혀집니다. 1960년대부터 이어져 온 추세(Moore의 법칙의 효율성 형제인 Koomey의 법칙)는 수 세기가 아닌 수십 년 단위의 지평선 너머에 있는 제프토줄(zeptojoule) 규모를 가리키고 있습니다. 만약 컴퓨팅 성능이 계속 개선된다면, 바닥에는 단 하나의 벽이 존재할 것입니다. 그것은 실리콘(silicon)보다는 열역학(thermodynamics)으로 만들어진 벽이며, 그 벽을 통과할 수 있는 유일한 문은 위에서 언급한 세 가지 장벽이 문앞에서 기다리고 있는 상황 속에서, 망각 없이 계산하는 법을 배우는 것입니다. 이 에세이의 제목은 당신의 데이터센터 청구서에 대해서는 틀렸지만, 길의 끝에 대해서는 맞습니다. 물리학은 컴퓨팅에 비용을 부과하지 않습니다. 물리학은 망각에 비용을 부과합니다. 다만 앞으로 몇십 년 동안은, 배달료가 메뉴에 있는 모든 것의 가격을 압도할 뿐입니다.

출처