construction of a data center

편집자 주: 이 기사는 생성형 AI 산업에 대한 The Atlantic의 지속적인 조사 프로젝트인 AI Watchdog의 일부입니다.

AI 기업들이 시스템을 온라인 상태로 유지하기 위해 분투하는 과정에서, 우리 모두에게 비용 부담을 지우고 있습니다. ChatGPT나 Claude와 같은 대규모 언어 모델 (LLM)은 자원 소모가 매우 심해서, 기술 기업들이 전 세계 고성능 컴퓨터 메모리 공급량의 70%를 사들이고 있을 정도이며, 이로 인해 부족 현상이 발생하고 있습니다. 그 결과, 컴퓨터 메모리와 저장 장치의 가격이 치솟고 있습니다. 제가 2년 전 취재를 위해 개당 350달러에 구매했던 하드 드라이브는 2주 전에 확인했을 때 800달러였으며, 현재는 품절 상태입니다. 일부 노트북 가격은 최대 50%까지 상승했으며, 저가형 컴퓨터가 가장 큰 타격을 입고 있습니다. 한 전망에 따르면 저렴한 입문용 컴퓨터는 "2028년까지 사라질 수도" 있다고 합니다. 그리고 메모리 부족 현상은 향후 몇 년간 지속될 것으로 예상됩니다.

이 메모리들은 기술 기업들이 엄청난 속도로 확장하고 있는 데이터 센터 (Data Center)로 투입되고 있습니다. 이들은 향후 몇 년 동안 미국의 전체 데이터 센터 용량을 8배로 늘릴 계획입니다. 이 시설들의 전력 수요는 이미 매우 커서, 일부 기업들은 전력을 공급하기 위해 제트 엔진을 개조하여 사용하고 있을 정도입니다.

문제는 단순히 AI가 너무 광범위하게 또는 빠르게 배포되고 있다는 점만이 아닙니다. 다른 컴퓨터 기술들도 이처럼 막대한 전력 급증이나 컴퓨터 부품 부족을 일으키지 않으면서 유사하게 거대한 성장을 이루어 왔습니다. 비디오와 음악은 현재 전 세계적으로 스트리밍되어 매일 수많은 테라바이트(Terabytes)의 인터넷 트래픽을 차지하고 있으며, 스마트폰 붐은 현재 엄청난 양의 데이터를 전송하고 있는 수십억 대의 기기 제조를 필요로 했습니다. 또한 수십억 개의 가전제품이 사물인터넷 (IoT)의 일부가 되었고, 산업 전체가 클라우드 소프트웨어로 운영을 옮겼습니다. 이 클라우드는 하늘에 있는 것이 아니라, 맞습니다, 데이터 센터에 호스팅되어 있습니다.

업계 자체의 전문 용어로 표현하자면, 생성형 AI의 문제는 확장성 (scale)이 없다는 것입니다. 예를 들어, 사용자 수가 천 명에서 백만 명으로 늘어날 때 발생하는 비용은 벤처 캐피털리스트들이 스타트업을 평가할 때 검토하는 핵심 요소입니다. 그들은 새로운 사용자가 추가될 때마다 발생하는 비용이 시간이 지남에 따라 감소하여, 회사가 수백만 명의 사용자를 지원하면서 수익을 점진적으로 늘릴 수 있는지 확인하고 싶어 합니다. 이는 사진을 게시하거나, Uber를 호출하거나, 음악을 스트리밍하려는 더 많은 사용자를 효율적으로 처리할 수 있는 컴퓨터 시스템을 정교하게 엔지니어링함으로써 부분적으로 달성됩니다.

생성형 AI의 경우, 효율적이고 확장 가능한 시스템을 구축하는 작업이 이루어지지 않았습니다. 그리고 문제는 점점 더 커지는 생성형 AI 모델들로 인해 악화되고 있습니다. 독립적인 추정치에 따르면, 이 모델들은 2020년 1,750억 개의 파라미터 (parameters)에서 오늘날 1조 개 이상으로 성장했습니다 (Claude 및 ChatGPT와 같은 제품을 구동하는 모델의 실제 크기는 비밀입니다). 거대 언어 모델 (large language model)에서 '거대 (large)'라는 단어는 판매 포인트가 되어서는 안 됩니다. 하지만 더 큰 모델이 작은 모델보다 성능이 뛰어난 경향이 있다는 업계의 관찰은, 단순히 모델을 더 크게 만드는 것만으로 어떤 문제든 해결할 수 있다고 암시하는 '스케일링 법칙 (scaling laws)'에 대한 토템적인 믿음을 불러일으켰습니다. OpenAI의 CEO Sam Altman은 지난 9월 자신의 블로그에 "아마도 10기가와트의 컴퓨팅 파워가 있다면, AI가 암을 치료하는 방법을 알아낼 수 있을지도 모른다"라고 썼습니다.

하지만 수익은 점차 감소하고 있습니다. AI 모델이 커질수록 파라미터가 추가될 때마다 개선되는 정도는 줄어들며, 따라서 꾸준한 진보를 유지하기 위해서는 모델을 훨씬 더 빠른 속도로 키워야만 합니다. 저는 몇몇 AI 연구자들에게 이토록 확장성이 떨어지는 다른 실제 소프트웨어가 있는지 물었습니다. 그들 중 누구도 떠올리지 못했습니다. 소프트웨어 세계를 벗어나더라도, 규모의 경제 (economy of scale)가 전구, 자동차, 의류를 저렴하게 만든 원칙임을 고려할 때 이와 비교할 만한 사례를 찾기는 어렵습니다. 경제적 및 공학적 척도로 볼 때, 생성형 AI는 지금까지 배포된 기술 중 최악일지도 모릅니다.

하지만 현재의 비대해진 접근 방식 뒤에 깔린 막대한 투자로 인해, 변화하려는 의지는 그리 크지 않을 수도 있습니다. OpenAI의 공동 창립자이자 전 수석 과학자인 Ilya Sutskever는 지난 11월 인터뷰에서 기업들이 무차별 대입 방식(brute-force approach)을 택하는 이유는 "자원을 투자하는 데 있어 매우 저위험적인 방법을 제공하기 때문"이라고 말했습니다. 그는 현재 수조 달러의 가치를 쌓아가고 있는 제품을 재설계하는 연구에 투자하는 것이 더 어렵다고 주장했습니다. 우리가 AI 주도형 거품 경제에 있다고 의심하는 이들은, 주로 기술의 높은 비용과 비효율성 때문에 이러한 기업들의 수익성이 여전히 미지수라는 점을 지적해 왔습니다.

효율성(Efficiency)은 컴퓨터 과학의 핵심 원칙입니다. 학부생들이 가장 먼저 배우는 것 중 하나는 50개의 단어로 이루어진 목록을 정렬하는 프로그램을 작성하는 것은 쉽다는 것입니다. 하지만 그 프로그램에 50백만 개의 단어를 준다면, 메모리가 부족해지거나 완료하는 데 몇 시간이 걸릴 가능성이 높습니다. 컴퓨터 과학의 상당 부분은 이런 일이 발생하지 않도록 하는 영리한 코딩 기술을 배우는 것입니다. 이러한 기술 중 다수는 데이터의 반복되는 패턴을 활용하여, 프로그램이 더 많은 입력을 받을수록 추가되는 각 비트를 처리하는 데 더 적은 시간이나 메모리가 들도록 합니다. 이러한 효율성은 현대의 스마트폰과 컴퓨터가 매우 유능하면서도 저렴할 수 있는 이유 중 하나입니다. 이를 로그 스케일링 (logarithmic scaling)이라고 부르며, 그래프로 나타내면 다음과 같습니다:

graph showing what tech companies want to see when they scale

대규모 언어 모델 (LLM)은 로그 스케일링을 따르지 않습니다. 처리해야 할 단어가 많아질수록 속도는 느려지고 메모리는 더 많이 사용됩니다. 즉, 입력이 증가함에 따라 시간과 자원이 더 빠르게 증가합니다. 기술적인 용어로 말하면, LLM은 이차 스케일링 (quadratically scale)을 합니다. 컴퓨터 과학을 공부하는 학생이라면 누구라도 이것이 매우 나쁜 현상이라는 것을 알고 있습니다.

AI 모델 운영 비용을 산출하려는 조직인 Epoch AI는 작년에 그래프를 발표했으며, 허가를 받아 여기에 재수록합니다. 이 그래프는 여러 공개 AI 모델에서 사용자가 챗봇에 입력하는 단어인 "토큰 (tokens)"을 더 많이 제공할 때 발생하는 비용이 기하급수적으로 증가함을 보여줍니다.

graph showing what AI companies are actually seeing as they scale LLMs

AI가 반드시 이런 방식으로 구축되어야 하는 것은 아닙니다. 전통적으로 AI의 목표는 인간의 정신 과정을 모방하는 방식으로 문제를 해결하는 것이었습니다. 연구자들은 자신의 사고 과정을 관찰하고, 그 정신적 습관을 코드에 구현하려고 노력했습니다. 이러한 접근 방식은 인간 사고의 규칙을 식별하고 명확히 설명하는 것의 어려움 때문에 부분적으로 폐기되었지만, 훨씬 적은 자원과 데이터를 소비한다는 장점이 있었습니다.

오늘날의 AI 접근 방식은 인간 사고의 규칙을 설명하려 하지 않습니다. 대신 컴퓨터에 모방할 수 있는 수백만 개의 사례를 제공합니다. 방대한 양의 사례는 대규모 모델이 언어, 이미지, 음악을 생성할 때 소규모 모델보다 더 나은 성능을 발휘할 수 있는 이유 중 하나입니다. 즉, 활용할 수 있는 재료가 더 많기 때문입니다. 일부 연구자들은 과거의 더 효율적인 접근 방식을 다시 도입하여 현대적 접근 방식과 결합하기를 원하지만, 지금까지 이러한 프로젝트들은 챗봇을 구동하는 모델들만큼의 관심이나 자금을 끌어모으지 못했습니다.

챗봇 기업들도 자신들의 제품이 비효율적이라는 점을 인지하고 있습니다. 일부는 성능을 개선하기 위한 기술들을 찾아냈지만, 상당한 이득을 가져다주지는 못했습니다. 때때로 기업들은 돌파구를 마련했다고 주장하기도 합니다. Anthropic의 CEO Dario Amodei는 이를 "연산 승수 (compute multipliers)"라고 부르기도 했지만, 대개 모호한 용어로 설명되며, 이차 스케일링 (quadratic scaling) 및 모델 크기 폭발 (exploding model size)이라는 근본적인 문제가 극복되었다는 증거는 없습니다. (이 질문에 대해 문의했을 때 Anthropic 측은 공식적인 답변을 거부했습니다.)

일부 연구자들은 더 적은 데이터와 더 적은 컴퓨팅 파워를 요구하는 극도로 작은 모델을 연구하고 있습니다. 저는 이러한 모델 중 하나를 독립적으로 설계한 Microsoft의 AI 연구원 Alexia Jolicoeur-Martineau와 대화하며 업계의 무차별 대입 (brute-force) 방식에 대해 물었습니다. 그녀는 저에게 "조금 미친 짓이에요"라고 말했습니다. "어느 시점에서는 조금 더 효율적으로 되는 법을 배워야 합니다."

지난해, Jolicoeur-Martineau는 막대한 양의 컴퓨팅 자원 (computing resources)을 소비하지 않는 “작은 재귀 모델 (tiny recursive model)”에 관한 논문으로 50,000달러의 상을 받았습니다. 그녀는 “어려운 과업을 달성하기 위해 거대 기업이 수백만 달러를 들여 훈련시킨 거대 파운데이션 모델 (foundational models)에 의존해야 한다는 생각은 함정입니다”라고 썼습니다. 그녀의 모델은 LLM (Large Language Model)의 대체재는 아닙니다. 언어를 생성하기보다는 생물학이나 전기 공학 같은 분야의 논리 문제를 해결하도록 설계되었지만, 현재 훨씬 더 큰 AI 모델들이 수행하고 있는 작업 중 일부를 해낼 수 있습니다.

하지만 우리는 LLM에 갇혀 있는 것처럼 보이며, 이는 아마도 그것들이 매우 공격적으로 마케팅되었기 때문일 것입니다. 이제 LLM은 당신이 원하든 원하지 않든 모든 것에 추가되고 있습니다. 2024년과 2025년에 LLM은 Windows와 MacOS 모두에 통합되었으며, 이는 기본적인 개인용 컴퓨터를 실행하는 데에도 더 많은 컴퓨팅 파워 (computing power)가 필요함을 의미합니다. 기업들이 새로운 AI 기능을 예상함에 따라 스마트폰 또한 업그레이드된 하드웨어와 함께 판매되고 있습니다. 비효율적인 AI가 Adobe Photoshop이나 Microsoft Word와 같은 일반적인 프로그램에도 추가되고 있으며, 이는 이러한 소프트웨어를 실행하기 위해 컴퓨터가 더 강력해져야 함을 의미합니다.

이 모든 상황은 컴퓨터가 더 이상 예전과 같은 속도로 발전하지 않고 있기 때문에 특히 더 나쁩니다. 1950년대 이후 제조사들은 마이크로칩을 꾸준히 더 빠르고, 더 작고, 더 저렴하게 만드는 법을 배워왔으며, 이 추세는 통상적으로 무어의 법칙 (Moore’s Law)으로 알려져 있습니다. 하지만 지난 몇 년 동안 부품들이 너무 작아져서 제조사들은 이를 더 축소하는 데 있어 분자 수준의 한계에 부딪혔고, 이로 인해 발전 속도가 크게 둔화되었습니다.

부품을 축소하는 대신, 제조사들은 AI에 맞춤화된 새로운 하드웨어를 개발하는 데 집중해 왔습니다. 이것이 간헐적인 성능 향상을 제공하기는 했지만, AI의 증가하는 요구 사항이 그리는 지수적 곡선 (exponential curve)을 따라잡을 만한 것은 없었습니다.

궁극적으로, 스스로가 지능 그 자체를 복제하고 있다고 믿는 기술 산업계 내부 사람들에게 비효율성은 거의 고려 대상이 아닐 수도 있습니다. 실리콘 밸리(Silicon Valley)의 많은 이들 사이에는 LLM(대규모 언어 모델)으로부터 마치 정신과 유사한 무언가가 탄생할 수 있다는 거의 종교적인 확신이 존재합니다. 이는 해당 소프트웨어가 기본적인 사실조차 회상하지 못하고, 상식(common sense)이 결여되어 있으며, 생물학적 뇌와는 완전히 다르다는 점에도 불구하고 나타나는 현상입니다. AI의 "대부(godfathers)" 중 한 명인 얀 르쿤(Yann LeCun)조차 최근 The New York Times와의 인터뷰에서 "LLM은 초지능(superintelligence)이나 인간 수준의 지능으로 가는 경로가 아니다"라고 말한 바 있습니다. 하지만 AI가 가진 신화적인 유혹이 너무나 강력하기 때문에, 많은 엔지니어들은 그 어떤 것도 자신들의 앞길을 막아서는 안 된다고 믿습니다. 효율적인 소프트웨어를 작성해야 한다는 가장 기본적인 과업조차 말입니다.