생성형 AI는 왜 공학적 재앙인가
극도로 비효율적인 프로젝트에 매몰되는 것
(아래 원문 발췌)

AI 기업들은 시스템의 가동을 유지하기 위해 안간힘을 쓰면서 일반 사용자들 부담을 가중시키고 있다. ChatGPT나 클로드 같은 LLM은 자원을 너무나 많이 소모한다. 때문에 기술 기업들은 전 세계 고성능 컴퓨터 메모리 공급량의 70%를 사들이며 공급 부족을 낳고 있다. 그 결과 컴퓨터 메모리와 저장 장치 가격이 치솟고 있다.

일부 노트북 가격은 최대 50%까지 올랐고 저가형 컴퓨터가 가장 큰 타격을 입고 있다. 저렴한 보급형 컴퓨터는 2028년까지 사라질 수도 있다. 메모리 부족 현상은 수년간 지속될 걸로 보인다.

이 메모리는 기술 기업들이 급속 확장하고 있는 데이터 센터에 투입되고 있다. 이들은 몇 년 내 미국내 데이터 센터 총 용량을 8배로 늘릴 계획이다. 이 시설들의 전력 수요는 이미 워낙 막대해 일부는 제트 엔진을 개조해 전력을 공급한다.

문제는 AI가 너무 광범위하거나 빠르게 도입되고 있다는 점에만 있는 게 아니다. 생성형 AI의 문제는 업계 용어로 ‘확장성이 부족하다’는 점이다. 예컨대, 사용자 수를 1,000명에서 100만 명으로 늘리는 데 드는 비용은 스타트업을 평가할 때 핵심 요소다. 신규 사용자 추가 비용이 시간이 지날수록 감소해 수익을 지속적으로 늘릴 수 있어야 한다.

생성형 AI는 효율적이면서 확장 가능한 시스템을 구축하는 작업이 아직 이뤄지지 않았다. 이 문제는 점점 더 커지는 모델로 인해 더 악화되고 있다. 추정에 따르면 모델의 매개변수 수는 2020년 1,750억 개에서 현재 1조 개 이상으로 커졌다.(클로드나 ChatGPT 같은 회사 모델의 실제 규모는 비밀).

모델이 커질수록 성능이 뛰어난 경향이 있다는 업계의 관찰은 단순히 모델을 더 크게 만드는 것만으로도 어떤 문제든 해결할 수 있다는 ‘확장 법칙’에 대한 맹목적 믿음을 낳았다. 그러나 그 효과는 점차 줄고 있다. 매개변수를 추가할 때마다 개선되는 정도는 줄어들기 때문에, 꾸준한 진전을 유지하기 위해서만 해도 더 빠른 속도로 모델을 더 크게 만들어야 한다.

이처럼 확장성이 낮은 소프트웨어도 드물다. 경제적·공학적 관점에서 생성형 AI는 지금껏 도입된 기술 중 최악일지도 모른다.

하지만 이런 비효율적 접근 방식에 막대한 투자가 이미 이루어진 상황에서 변화의 의지는 크지 않을 수 있다. 기업들이 무차별적 접근 방식을 취하는 이유는 그나마 자원 투자의 위험율이 낮다고 보기 때문이다. AI 주도형 버블 경제에 빠져 있다고 의심하는 이들은 주로 기술의 높은 비용과 비효율성 때문에 이 기업들의 수익성이 여전히 미지수라고 지적해 왔다.

효율성은 컴퓨터 과학의 핵심 원칙이다. 지금의 스마트폰과 컴퓨터는 효율성 덕분에 뛰어난 성능을 갖추면서도 합리적 가격으로 제공될 수 있다. 이를 대수적 확장이라고 한다. LLM은 대수적으로 확장되지 않는다. 처리해야 할 단어가 늘어날수록 속도는 느려지고 메모리 사용량은 증가한다. 즉, 입력량이 늘어날수록 소요 시간과 자원 소비가 더 빠르게 증가한다. 컴퓨터 공학 전공자라면 이것이 매우 좋지 않은 현상임을 안다.

여러 공개 AI 모델은 사용자가 챗봇에 입력하는 ‘토큰’의 수가 늘어날수록 비용이 기하급수적으로 증가하는 양상을 보인다. AI가 꼭 이런 식으로 구축돼야 하는 건 아니다. 전통적인 방식은 인간의 사고 과정을 모방해서 코드로 구현하는 것이었다. 하지만 인간의 사고 규칙을 파악하고 명확히 표현하기 어렵다는 점 등 여러 이유로 대부분 폐기되었다. 그래도 자원과 데이터를 훨씬 적게 소비한다는 장점은 있었다.

오늘날의 AI 접근 방식은 인간의 사고 규칙을 직접 대입하려 시도하기보다 컴퓨터에 모방할 수백만 개의 예시를 제공한다. 성능 개선에 데이터 양이 중요해진 이유다. 일부 연구자들은 예전보다 더 효율적인 접근 방식을 되살려 현대적인 접근 방식과 결합하고자 하지만 지금까지는 주목이나 자금을 확보하지 못했다.

기업들도 자사 제품이 비효율적임을 알고 있다. 일부 기업은 성능 향상 기술을 찾아냈지만 큰 성과를 거두진 못했다. 간혹 기업들은 획기적 성과를 거뒀다고 주장하지만 대개 모호한 용어로 설명될 뿐, 근본적인 문제가 해결되었다는 증거는 없다.

일부 연구자들은 더 적은 데이터와 컴퓨팅 파워만 필요한 극히 작은 모델을 개발하고 있다. 이들은 업계의 무차별 대입식 접근 방식을 ‘미친 짓’이라고 부른다. 언젠가는 좀 더 효율적으로 일하는 법을 배워야 한다는 얘기다.

‘초소형 재귀 모델’에 관한 논문으로 상금을 받은 졸리쿠르-마르티노는 “대기업이 수백만 달러를 들여 훈련시킨 거대 기초 모델에 의존해야 한다는 생각은 함정”이라고 했다. 하지만 모두가 LLM에 사로잡혀 있는 듯하다. 지나치게 공격적인 마케팅의 결과로 보인다.

이제 원하든 원하지 않든 모든 곳에 LLM AI가 추가되고 있다. 컴퓨터가 예전만큼 빠른 속도로 발전하지 못하고 있다는 점에서 이 모든 상황은 특히 심각하다. 1950년대 이후 제조사들은 마이크로칩을 꾸준히 더 빠르고, 더 작고, 더 저렴하게 만드는 법을 터득해 왔는데, 이를 ‘무어의 법칙’이라고 부른다.

하지만 지난 몇 년간 부품이 너무나 작아지면서 제조사들은 한계에 부딪혔고 이로 인해 발전 속도가 상당히 둔해졌다. 제조업체들은 부품을 더 축소하는 대신, AI에 특화된 새로운 하드웨어 개발에 주력해 왔다. 이를 통해 성능이 때때로 점차 개선되기도 했지만, AI 수요 증가 추세를 따라잡을 만한 수준에는 미치지 못했다.

지능의 재현으로 가고 있다고 믿는 기술 업계 종사자들에겐 비효율성이 별 문제가 아닐 수도 있다. 이들은 궁극적으로 단순한 통계적 언어 생성 소프트웨어에 불과한 LLM에서 마음과 유사한 뭔가가 탄생할 수 있다는 신앙에 가까운 확신을 가지고 있다. 해당 소프트웨어가 기본적인 사실을 기억해 낼 능력이 없고, 상식이 부족하며, 생물학적 뇌와는 완전히 다르다는 사실에도 불구하고. AI의 신화적 매력에 취한 많은 엔지니어들은 그 어떤 것도 자신들 앞길을 가로막아선 안 된다고 믿고 있다. 그 와중에 소프트웨어 작성의 기본 효율마저 희생되고 있다.
https://t.co/iH2nSso5tR