「AI는 이미 한계에 도달했다」라는 기사와 「AI는 앞으로도 몇 배는 더 똑똑해질 것이다」라는 기사를 같은 주에 본 적이 없으신가요?

둘 중 하나가 거짓말을 하는 것이 아닙니다. 보고 있는 지점이 다를 뿐입니다.

이 기사는 그 「지점」의 지도를 만듭니다. 수식은 단 하나, 나머지는 그림으로 설명하겠습니다.

똑똑함은 3가지 자원의 곱셈으로 이루어진다

LLM의 똑똑함을 결정하는 자원은 3가지입니다. 수험 공부에 비유하면 이해하기 쉽습니다.

약속한 유일한 수식은 이것입니다.

계산량 (Compute) ≈ 6 × 파라미터 수 × 데이터량

공부 시간은 「뇌의 크기 × 읽은 양」으로 결정된다는 단순한 곱셈입니다. 그리고 공부 시간의 대가는 GPU와 전기로 지불합니다.

2020년에 보고된 **스케일링 법칙 (Scaling Laws)**은 이 자원과 똑똑함 사이의 관계에 대한 발견이었습니다.

자원을 10배로 늘릴 때마다, 똑똑함(정확히는 예측의 오차를 줄이는 능력)이

규칙적으로 한 단계 올라갑니다.

log-log 그래프에 놓으면 깨끗한 직선이 됩니다. 이 직선은 계산량으로 따지면 7자리 이상——수천만 배의 스케일까지 꺾이지 않고 이어졌습니다. 최근 몇 년간의 「AI에 모든 것을 건다」라는 산업계의 움직임은 바로 이 직선에 대한 도박입니다.

중요한 주의사항이 하나 있습니다. 이것은 물리 법칙이 아니라, 실측된 경험칙입니다. 「지금까지 직선이었다」 이상의 말은 하지 않습니다. 따라서 「언젠가 꺾일지도 모른다」는 점 또한 처음부터 고려된 이야기입니다.

밸런스의 발견 — 뇌만 크다고 되는 것이 아니다

초기 모델들은 뇌를 크게 만드는 경쟁을 하고 있었습니다. 그러던 2022년, 「배분이 잘못되었다」라는 발견이 나옵니다 (통칭 Chinchilla).

기준은 파라미터 1개당 약 20토큰입니다. 그런데 당시의 대표적인 모델들은 2토큰 정도밖에 읽지 못하고 있었습니다. 참고서 1권만으로 수험에 도전하는 천재 아이를 업계 전체가 양산하고 있었던 셈입니다. 이후 모델은 「뇌는 조금 작게, 읽는 양은 자릿수를 늘려」 방향으로 수정되었습니다.

여담이지만, 배포용 소형 모델은 이제 기준치를 크게 초과하여 학습시키는 것이 일반적입니다. 뇌가 작을수록 추론 (=매회 이용) 비용이 저렴해지기 때문에, 학습 단계에서 더 많이 지불하더라도 이득을 볼 수 있습니다. 이러한 손익 계산은 인프라의 비용 구조 이야기 그 자체입니다.

벽은 두 가지가 있다

그렇다면 직선은 어디까지 이어질까요? 앞에 놓인 벽은 두 가지입니다.

벽 1: 데이터의 벽. 인류가 지금까지 써온 질 높은 텍스트는 유한하며, 최전선의 모델들은 그것을 다 읽어가고 있습니다. 연구 기관의 추산에 따르면, 2020년대 후반에는 실질적으로 다 써버릴 수도 있습니다. 「데이터는 AI의 화석 연료」라고 표현한 연구자도 있습니다. 우회로로서, AI가 만든 교재로 배우는 **합성 데이터 (Synthetic Data)**와 질 낮은 데이터를 버리는 엄선 (Curation) 작업이 진행되고 있습니다.

벽 2: 물리적인 벽. 계산량의 대가는 칩과 전력이라는 실물입니다. 최전선 모델의 학습 1회에 필요한 전력은 이미 발전소급 논의가 되고 있습니다. 우회로는 효율화(같은 똑똑함을 더 싸게 만들기)와 전원·데이터 센터의 증설입니다.

눈치채셨겠지만, 벽 2는 인프라 업계의 영역입니다. 전력·데이터 센터·반도체 이야기는 먼 세상의 이야기가 아니라 「AI의 성장 잠재력」에 관한 이야기이기도 합니다.

그럼에도 성장하고 있는 이유 — 스케일링할 장소가 늘어났다

「사전 학습 (Pre-training)은 한계에 도달한 것 같다」라는 이야기와 「모델은 계속 성장하고 있다」라는 현실은 모순되지 않습니다. 스케일링할 장소가 늘어났기 때문입니다.

축 1: 수업과 참고서 (사전 학습). 2020년부터의 주역. 데이터의 벽에 부딪혀 둔화——이 부분만 보면 「한계에 도달한 것」처럼 보입니다. 지금도 똑똑함의 토대라는 사실은 변함이 없습니다.

축 2: 연습과 첨삭 (사후 학습 / RL). 문제를 풀게 하고, 채점하고, 단련시킨다. 2024년 이후 「추론 모델 (Reasoning Model)」의 정체가 바로 이것입니다. 이 축에서도 멱법칙 (Power Law)이 관측되기 시작했습니다.

축 3: 시험 중에 생각하는 시간 (추론 시 계산량 / Inference-time Compute). 기존 모델은 즉답밖에 할 수 없었습니다. 지금의 모델은 답하기 전에 길게 생각할 수 있으며, 생각하는 시간을 늘릴수록 정답률이 규칙적으로 올라간다는 것이 밝혀졌습니다 (2024년, 이른바 o1의 발표로 널리 알려진 현상). 이제 각 회사의 플래그십 모델은 「생각하는 모드」를 표준 사양으로 갖추고 있습니다.

즉——사전 학습이라는 외줄 타기는 끝났습니다. 이것은 사실입니다.

그리고 스케일링 법칙 그 자체는, 장소를 바꾸어 살아남아 있다. 이것 또한 사실입니다.

또 하나, 인프라 엔지니어로서 놓칠 수 없는 변화가 있습니다. 바로 축 3(Axis 3)의 의미입니다.

학습(Training)은 단 한 번의 설비 투자이지만, 추론(Inference)은 매일 발생하는 광열비입니다. 지능의 무게 중심이 '생각하는 시간'으로 이동할수록, 연산 수요의 무게 중심 또한 학습에서 추론으로 이동합니다. 즉, 데이터 센터에 요구되는 성격이 변해간다는 뜻입니다. 이 이야기는 조만간 다른 형태로 다시 다루겠습니다.

서두의 두 기사로 돌아가기

이제 두 기사를 모두 읽을 수 있게 되었을 것입니다.

• 「AI는 이미 한계에 도달했다」 — 대개 축 1(사전 학습, Pre-training)에 대해서만 이야기하고 있습니다. 데이터의 벽은 실재하므로, 그 범위 내에서는 맞는 말입니다.
• 「아직 몇 배는 더 성장할 것이다」 — 축 2와 축 3을 모두 포함한 이야기입니다. 다만 벽 2(전력과 칩)의 물리적 제약을 언급하지 않았다면, 그것은 그것대로 낙관적인 편에 속합니다.

즉, 판단의 요령은 「어떤 축에 대한 이야기인가」, 「어떤 벽을 무시하고 있는가」를 구분해 듣는 것입니다. 그것만으로도 AI 뉴스를 바라보는 해상도는 한 단계 달라집니다. 원리를 아는 가치는 미래를 맞히는 것이 아니라, 타인의 예언을 심사할 수 있게 되는 것에 있다고 생각합니다.

자주 묻는 질문

Q. 그래서, 내년에는 더 똑똑해질까?

세 가지 축 중 어느 것에도 현재로서는 즉사할 만한 벽은 없습니다. 다만 성장하는 질(Quality)은 달라질 것입니다. 즉각적인 답변 능력보다는, 「오랫동안 생각하기」, 「도구를 사용하기」 방향의 지능이 성장할 것입니다. 단정 짓지는 않겠습니다. 경험칙은 언젠가 꺾이기 마련이니까요.

**Q. 더 제대로 공부하려면?

원전(Original paper)이 의외로 읽을만합니다. 스케일링 법칙(Scaling Laws)에 관한 Kaplan 논문(2020), 배분에 관한 Chinchilla 논문(2022), 추론 시 연산(Inference-time compute)을 다룬 o1 발표(2024). 그래프를 살펴보는 것만으로도 가치가 있습니다.

Q. 인프라 엔지니어와 무슨 상관이지?

벽 2(전력·칩)와 축 3(추론으로의 무게 중심 이동)은 곧 우리의 업무 수요 예측과 직결됩니다. AI의 원리에 관한 이야기는 데이터 센터 및 전력망 이야기와 이제 떼려야 뗄 수 없습니다.

마치며

스케일링 법칙은 아직 살아있는가 — 살아있습니다. 다만 주소를 옮겼을 뿐입니다. 사전 학습이라는 외길에서, 연습과 생각하는 시간으로 말이죠. 그리고 앞길에는 데이터와 물리라는 두 개의 벽이 보이고 있으며, 두 곳 모두 우회로 공사가 진행 중입니다.

직선을 아는 사람만이, 직선이 꺾이는 순간을 알아챌 수 있습니다.

저자 소개 — Pinddy(핀디). 통신 캐리어 계열 기업의 SI 부문에서 인프라 프로젝트를 담당하고 있습니다. 이 업계에서 20년 남짓 일했습니다. 최근 관심사는 생성형 AI, 클라우드, IaC입니다. 공부 시간은 오로지 전기세로 지불하고 있습니다.

본 기사는 AI — Anthropic의 Claude — 와의 협업으로 작성되었습니다. 구성 검토, 초안 작성, 사실 관계 확인을 AI와 진행하였으며, 1차 자료(아래)를 통해 검증한 후 최종 편집 및 책임은 저자(Pinddy)에게 있습니다.

참고: Kaplan et al., Scaling Laws for Neural Language Models(2020) / Hoffmann et al., Training Compute-Optimal Large Language Models(2022) / OpenAI, Learning to reason with LLMs(2024) / Epoch AI, Will we run out of data?

Discussion