안녕하세요, 닥스훈트입니다.

LLM이 탄생한 이후, 매달 마치 약속이라도 한 듯 '역대 최고 성능'을 내세우는 모델(특히 Claude, GPT, Gemini)이 발표되고 있으며, 발표될 때마다 벤치마크(Benchmark) 그래프가 갱신되고 있습니다. 한편으로 저는 얼마 전 "LLM 학습에 사용할 수 있는 데이터가 곧 바닥날 것이다"라는 이야기를 들은 기억이 있어, 대폭적인 학습 데이터의 추가를 기대할 수 없는 상황에서 왜 이렇게까지 성능이 계속 올라가고 있는지 궁금했습니다.

여러 가지로 조사해 보니, LLM의 성능이 계속해서 성장하고 있는 배경에는 데이터 자체의 고안뿐만 아니라, 학습 방법의 변화나 추론 스케일(Inference Scale), 성능 측정 방식의 변화, 나아가 경량화·효율화까지 여러 요인이 있다는 것을 알게 되었습니다. 이번 기사에서는 이에 대해 소개하겠습니다.

• 학습 데이터는 아직 고갈되지 않았습니다. 인간이 작성한 공개 텍스트(약 300조 토큰)는 2026~2032년에 다 쓸 것으로 예상되지만, robots.txt에 의한 크롤러 거부로 인해 접근 가능한 데이터는 이미 1년 사이에 5% 이상 감소했습니다.

• 데이터가 늘어나지 않는다는 전제하에, 개발은 세 가지 회피책으로 움직였습니다. (1) 합성 데이터(Synthetic Data)·증류(Distillation)로 데이터를 생성한다, (2) 사후 학습(Post-training)을 통해 데이터를 많이 사용하지 않는 학습으로 전환한다, (3) 추론 시간(Test-time scaling)으로 스케일 축을 옮긴다.

• 이용자가 LLM에 요구하는 것이 변함에 따라 평가 형식도 변하고 있습니다. 지식은 검색이나 도구를 통해 외부에서 제공하고, LLM 본체에는 계획·실행·검증이라는 에이전트(Agent)로서의 역할이 요구되게 되었습니다. 평가용 벤치마크도 QA 정답률에서 Terminal-Bench나 SWE-Bench Pro와 같은 에이전트의 태스크 완수율 평가로 넘어가고 있습니다.

• 성능의 정점을 다투는 것뿐만 아니라, 동일한 지능을 가볍고 저렴하게 구현하는 방향의 개발(MoE, Densing Law)도 활발해져서, 동일한 성능에 필요한 모델 크기는 약 3.3개월 만에 절반으로 줄어들고 있습니다.

• 1. 스케일 법칙(Scaling Laws)의 역사: "크게 만들면 똑똑해진다"의 시대
• 2. 학습 데이터는 언제 고갈되는가
• 3. 회피책 ①: 데이터를 만든다 (합성 데이터와 증류)
• 4. 회피책 ②: 데이터를 많이 필요로 하지 않는 사후 학습의 대두
• 5. 회피책 ③: 추론 시간을 늘린다 (추론 스케일 법칙)
• 6. 에이전트화와 벤치마크의 세대교체
• 7. 또 다른 방향성: 경량화·효율화

• 요약

스케일 법칙(Scaling Laws)은 모델의 파라미터(Parameter) 수나 학습 데이터량을 늘리면 성능이 예측 가능한 형태로 성장한다는 경험칙입니다. 무엇을 우선적으로 늘려야 하는지에 대해서는 발표 시기에 따라 변화해 왔습니다.

학습 데이터 고갈에 대한 위기감을 확산시킨 계기 중 하나는 2024년 12월 OpenAI 공동 창업자의 발언입니다. "Pre-training as we know it will end. (우리가 알고 있는 형태의 사전 학습은 끝날 것이다)"라고 언급하며, 데이터를 "AI의 화석 연료"에 비유했습니다. 계산 자원은 하드웨어나 알고리즘의 개선으로 계속 늘어날 수 있지만, 데이터는 그렇지 않습니다. "인터넷은 하나뿐이다"라는 말처럼, 공급할 수 있는 양에는 한계가 있다는 것입니다.

이러한 위기감을 뒷받침하듯, 여러 연구 기관이 데이터량에 관한 예측을 발표하고 있습니다.

• 인간이 작성한 공개 텍스트의 총량: Epoch AI의 추정(ICML 2024 채택)에 따르면, 총량은 약 300조 토큰입니다. 현재의 속도로 학습 데이터가 계속 증가한다면, 80%의 확률로 2026~2032년 사이에 모두 소진될 것이라고 합니다. -
  고품질 텍스트의 고갈 시기: Epoch AI는 2022년 논문에서 "고품질 텍스트는 2024년에 고갈될 것"이라고 예측했습니다. 하지만 2024년판에서는 이를 "2028년경"으로 수정했습니다. 이는 모델의 학습 방법 개선책이 계속 만들어지면서, 생각보다 더 오래 버틸 수 있다는 것을 알게 되었기 때문입니다. -
  접근 가능한 데이터량: 작성되는 양이 늘어나지 않는 한편, 읽을 수 있는 양도 줄어들기 시작했습니다. MIT의 Data Provenance Initiative가 1.4만 개의 도메인을 감사한 보고서(Consent in Crisis, 2024)에 따르면, 2023년부터 2024년 사이 단 1년 만에 대표적인 학습 코퍼스(Corpus)인 C4 중 토큰의 5% 이상(활발하게 관리되는 중요한 소스에 한하면 28% 이상)이 robots.txt를 통해 크롤러를 완전히 거부하게 되었다고 합니다. 급증이 시작된 것은 2023년 가을로, 이는 마침 OpenAI나 Google이 크롤러 차단 방법을 공개한 시기와 겹칩니다.

이러한 예측을 고려하면, 학습 데이터가 가까운 미래에 한계에 다다를 것은 분명해 보입니다. LLM 개발자들은 이러한 상황에 대응하여 몇 가지 회피책을 검토해 왔습니다. 다음 장부터 그 회피책들을 차례대로 소개하겠습니다.

회피책의 첫 번째는 AI가 데이터를 만들게 하는 "합성 데이터 (Synthetic Data)"와 "증류 (Distillation)"라는 기술입니다.

저는 이전부터 합성 데이터에 대해 "AI가 생성한 품질이 의심스러운 데이터로 학습해도 괜찮은가"라는 의문을 가지고 있었습니다. 하지만 조사해 보니 몇 가지 사례를 발견할 수 있었고, 그 결과를 보니 AI가 생성하는 합성 데이터의 질은 꾸준히 높아지고 있으며, 이미 모델 학습에 유효한 수준에 도달한 것으로 보입니다.

합성 데이터로 학습한 주요 사례로는 NVIDIA의 Nemotron-4 340B가 있습니다. 발표 내용에 따르면, LLM 학습 공정 중 하나인 정렬 (Alignment, 지시 추종의 마무리 단계) 단계에서 학습 데이터의 98% 이상이 합성 데이터였으며, 사람이 어노테이션 (Annotation)한 데이터는 약 2만 건에 불과했다고 합니다. 중요한 점은 생성된 데이터를 그대로 사용하는 것이 아니라, 품질로 필터링하거나 보상 모델 (Reward Model)로 순위를 매기고 선별함으로써 양질의 정렬을 실현하고 있다는 점입니다.

또한, Microsoft의 Phi-4 (14B)에 대해서도 사전 학습 (Pre-training)에 약 50여 종, 총 4,000억 토큰의 합성 데이터셋을 사용하고 있습니다.

흔히 우려되는 "모델 붕괴 (Model Collapse)" (합성 데이터로 학습을 반복하면 다양성이 상실되어 성능이 저하되는 현상)에 대해서는 시기에 따라 견해가 바뀌고 있어 아직 결론이 나지 않은 상태입니다.

• Nature에 게재된 2024년 논문은 모델이 생성한 합성 데이터를 무분별하게 학습에 계속 사용하면 분포의 꼬리 (Tail) 부분이 사라져 돌이킬 수 없이 저하된다고 경고했습니다.
• 다만 이 실험은 "원래 데이터를 합성 데이터로 대체해 나가는" 설정이었기에, 데이터를 대체하지 않고 축적해 나간다면 붕괴하지 않는다는 반론도 있습니다.
• 나아가 ICLR 2025의 연구는 "1/1000의 혼입만으로도 이론상 붕괴할 수 있다"고 보여주고 있어, 이론과 실증 사이에는 아직 차이가 있습니다.
• 현시점에서 말할 수 있는 것은 NVIDIA나 Microsoft의 사례처럼, 합성 데이터 중에서도 품질이 낮은 것은 필터링하거나 선별함으로써 모델 학습이 성공할 가능성이 높아진다는 것입니다.

나아가 "합성 데이터"의 일종으로 "증류 (Distillation)"라는 기술도 있습니다. 하나의 교사 모델 (Teacher Model)의 출력을 학습 데이터로 삼아, 학생 모델 (Student Model)을 교사 모델에 가까운 정밀도로 학습시키는 수법입니다. DeepSeek-R1이 생성한 80만 건의 추론 데이터로 소형 모델을 미세 조정 (Fine-tuning)한 것만으로도, "증류 모델"은 1.5B라는 크기로 수학 벤치마크 AIME에서 28.9%를 기록하며 GPT-4o를 능가했습니다. 이를 통해 인간이 작성한 데이터가 늘어나지 않더라도, 고성능 모델이 하나 있다면 그로부터 고품질의 학습 데이터를 끌어낼 수 있음을 알 수 있습니다.

회피책의 두 번째는 사전 학습된 모델을 실용 수준으로 완성하는 공정인 "사후 학습 (Post-training)"입니다.

사전 학습 (Pre-training)은 웹상의 텍스트로부터 언어나 세계 지식 그 자체를 제로(zero) 상태에서 가중치 (weights)에 새겨넣는 공정이기에, 조 단위의 거대한 데이터가 필요합니다. 반면, 사후 학습 (Post-training)이 조정하는 것은 "이미 지식을 가진 모델이 그 지식을 어떻게 출력할 것인가"라는 행동 (behavior) 부분뿐입니다. 인간의 선호도를 나타내는 비교 데이터나 정답을 검증할 수 있는 문제가 있다면 정보로서 충분하며, 필요한 데이터 양은 사전 학습에 비해 차원이 다르게 적어도 됩니다.

또한, 사후 학습은 데이터 효율성뿐만 아니라 작은 모델로도 큰 효과를 낼 수 있다는 특징도 있습니다. OpenAI의 InstructGPT 논문에 따르면, GPT-3 (파라미터 수: 175B)의 100분의 1도 안 되는 1.3B 모델이라도 사후 학습 (RLHF)을 적용하면, 순수 GPT-3보다 인간이 선호하는 답변을 반환하게 되었다고 보고되었습니다.

동일한 계산 자원을 투입한다면, 모델을 키우는 것보다 사후 학습으로 마무리하는 것이 실용적인 측면에서 효과가 더 큰 경우가 있습니다. 이러한 특징 때문에 이전에는 대량의 학습 데이터를 준비하는 사전 학습 (pre-training)에 무게가 실렸으나, 최근에는 사후 학습 (post-training)에도 주목하게 되었습니다.

Epoch AI의 분석에 따르면, 사전 학습의 계산량 증가가 연간 45배인 것에 반해, 추론을 위한 강화학습은 **35개월 만에 10배**의 속도로 증가하고 있는 것으로 보입니다. 또한, OpenAI는 o3의 강화학습에 o1의 10배에 달하는 계산량을 투입했다고 발표했으며, xAI는 Grok 4에서 "사전 학습과 동일한 규모"의 강화학습을 수행했다고 발표했습니다.

최근 몇 년 사이 다양한 사후 학습 기법(≒프레임워크)이 제안되고 있습니다. 대표적인 것은 다음과 같습니다.

해를 거듭할수록 인간의 피드백에 대한 의존도가 낮아지며, 효율적인 사후 학습이 실현되고 있습니다.

회피책의 세 번째는 추론 시간을 늘리는 것입니다. 모델의 성능이 추론 시간에 따라 향상되는 이 법칙성은 "추론 스케일 법칙 (inference scaling law)"이라 불립니다. 영어로는 test-time compute scaling 또는 inference-time scaling이라고 합니다.

"추론 스케일"은 OpenAI가 o1을 발표한 시점(2024년 9월)에, "강화학습을 늘릴수록 (훈련 시 계산량), 그리고 생각하는 시간을 늘릴수록 (추론 시 계산량), 성능이 일관되게 향상된다"라고 발표되었습니다. 즉, 앞 장의 사후 학습을 통해 "생각하는 법"을 익힌 모델은 추론 시에 오래 생각할수록 똑똑해진다는 법칙입니다.

실제로 수학 올림피아드 예선 수준인 AIME 2024에서 GPT-4o의 정답률은 평균 12% (15문제 중 1.8문제)였으나, GPT-4o보다 추론 시간에 더 많은 시간을 할애하는 o1은 1회 답변 시 74%, 64회 샘플링하여 다수결을 취했을 때는 83%까지 상승했습니다. 즉시 답변하는 것보다 추론 시간을 들여 내부에서 충분히 사고한 뒤 답변함으로써 성능이 향상됨을 알 수 있습니다.

반면, 추론 시간을 늘리면 단점도 발생합니다.

비용이 증가한다: 1회당 추론 비용이 급등합니다. o3의 ARC-AGI (추상 추론 벤치마크) 실측 결과, 저계산 모드 (정답률 75.7%)가 문제당 17~20달러인 것에 비해, 고계산 모드 (정답률 87.5%)는 약 3만 달러까지 불어납니다 -
너무 많이 생각해서 엉뚱한 답을 내놓을 수 있다: 모델이 필요 이상으로 오래 생각한 결과, 폭주하여 목적에서 벗어나는 경우가 있습니다 -
UX가 저하된다: 서비스로 제공할 경우, 응답 시간이 길어질수록 사용자의 만족도는 떨어집니다

LLM에 대한 기대는 지난 2년 동안 이용자 측면에서 변화해 왔습니다. 이전에는 "질문하면 올바른 답이 돌아오는 것"이 최대의 가치였다면, 이제는 "조사해줘", "고쳐줘", "끝내줘"와 같이 태스크 그 자체를 통째로 처리해 주기를 기대하는 상황이 늘어나고 있습니다.

이러한 변화에 따라 개발 측이 LLM에 요구하는 능력도 변했습니다. 이전에는 지식을 모델의 가중치(Weights)에 내재화하여 질문에 올바르게 답하게 하는 것이 중심이었으나, 이제는 지식을 검색이나 도구(Web Search, RAG, 코드 실행)를 통해 외부에서 제공하고, LLM 본체에는 계획을 세우고, 도구를 실행하며, 결과를 검증하는 에이전트(Agent)로서의 역할을 요구하고 있습니다. 이로 인해 지식을 늘리는 것뿐만 아니라, 사고력 등 다른 능력을 향상시키는 방향으로 학습 리소스가 투입되기 시작했습니다.

이러한 흐름에 맞춰 LLM의 제공 형식도 변했습니다. 예를 들어 GPT-5.5(2026년 4월)는 "fully retrained agentic model"로 발표되었으며, Web Search나 코드 실행 등의 도구가 포함된 상태로 제공됩니다. 이러한 흐름은 일반 사용자가 사용하는 채팅 앱에도 미치고 있습니다. ChatGPT에는 Web Browsing과 Python을 실행할 수 있는 Code Interpreter가 표준으로 탑재되어 있으며, Gemini 역시 Google 검색과 연계하여 답변의 근거를 보강하는 기능이나 코드 실행 기능을 갖추고 있습니다. 또한 Claude Code나 Cursor와 같은 AI 코딩 어시스턴트도 마찬가지로, 모델 단독이 아닌 "모델 + 도구 세트"가 제품으로서 제공되고 있습니다.

이러한 변화를 확인할 수 있는 타이밍은 신규 모델 발표 시 어떤 벤치마크(Benchmark)로 성능을 보여주는가입니다. 발표 시기에 2년의 차이가 있는 GPT-4o와 GPT-5.6에서 사용된 벤치마크를 비교해 보겠습니다.

GPT-4o 발표 시(2024년 5월)의 벤치마크. 모두 단발성 QA(질의응답)이며, 모델 단독(도구 없음) 상태에서의 평가입니다.

GPT-5.6 발표 시(2026년 7월)의 벤치마크. 에이전트로서 태스크를 완수할 수 있는지를 평가하는 것이 중심입니다.

비교해 보면, GPT-4o 발표 시 사용되었던 QA용 벤치마크의 대부분이 GPT-5.6 발표 시에는 에이전트용 벤치마크로 대체되어 있습니다.

에이전트용 벤치마크의 한 예가 Terminal-Bench 2.1입니다. 컨테이너화된 터미널 환경에서 단백질 합성 처리 구축, 비동기 코드 디버깅, 보안 취약점 수정과 같이 실무에서 가치 있는 89개의 태스크를 에이전트가 완료할 수 있는지를 측정합니다. 또한 Coding Agent Index는 GPT-5.6이라면 Codex, Claude라면 Claude Code와 같이 모델을 에이전트 실행 환경과 한 쌍으로 묶어 평가하는 벤치마크입니다.

이처럼 벤치마크가 교체된 이유는 크게 두 가지가 있습니다.

• 정도의 포화 (Saturation of Accuracy): 단순한 QA(질의응답)에서는 다양한 LLM이 높은 점수를 달성할 수 있게 되면서 차이를 두기가 어려워지고 있습니다. 예를 들어 OpenAI는 o1을 발표했을 때, "최근 모델들은 MATH와 같은 기존 벤치마크에서 너무 높은 점수를 기록하여, 더 이상 모델을 구분하는 데 도움이 되지 않는다"라고 보고했습니다.
• 데이터 오염 (Data Contamination): 오랫동안 표준이었던 SWE-bench Verified는 프런티어 모델(Frontier Model, ≒대규모 모델)이 일부 태스크의 정답 패치를 토씨 하나 틀리지 않고 재현할 수 있다는 점이 확인되었습니다. 이는 학습 데이터에 정답이 혼입되었기 때문이며, OpenAI는 2026년 2월에 이를 공식적으로 비권장(deprecated) 처리했습니다. 기존 벤치마크에서 높은 점수를 얻더라도, 그것이 일반화 성능(Generalization performance)에 의한 것인지 아니면 학습 데이터를 암기한 결과인지는 구분할 수 없습니다.

지금까지 성능을 높이는 방법을 소개해 왔지만, LLM 개발에서는 성능 그 자체뿐만 아니라 경량화 및 효율화 측면에서도 개발이 진행되고 있습니다. 실제로 성능이 동일하더라도 더 작고 비용이 저렴한 모델이 차례로 탄생하고 있습니다.

대표적인 접근 방식이 MoE (Mixture of Experts)입니다. MoE는 토큰마다 일부의 서브 네트워크(Expert, 전문가)만을 작동시키는 구조로, 전체적으로는 거대한 파라미터(Parameter) 수를 가지면서도 1토큰당 계산량을 작게 억제할 수 있습니다. 모델 전체 중 실제로 작동하는 것은 극히 일부뿐이라는 희소(Sparse)한 구조가 특징입니다. 예를 들어 DeepSeek-V3는 총 파라미터 671B의 MoE 모델이지만, 1토큰 처리 시 작동하는 것은 256개의 전문가 중 8개, 즉 37B 분량뿐입니다. 학습 비용도 동일 클래스의 밀집(Dense) 모델에 비해 대폭 저렴하면서도 GPT-4o 급의 성능에 도달해 있습니다. GPT-OSS나 Mixtral, Llama 4도 MoE를 채택하고 있으며, 이는 모델 개발의 표준적인 기술이 되어가고 있습니다.

또한, 앞 장에서 소개한 증류(Distillation)도 소형 모델의 성능을 끌어올리는 방향으로 효과를 발휘합니다.

이러한 모델의 경량화를 보여주는 경험칙이 칭화대학교와 OpenBMB가 2025년에 발표한 Densing Law (밀도화의 법칙)입니다. 동일한 성능을 내는 데 필요한 파라미터 크기가 약 3.3개월 만에 절반으로 줄어들고 있는 것으로 보입니다.

이처럼 "LLM이 똑똑해졌다"라고 한마디로 요약해도, 그 안에는 성능의 상한선이 높아진 것뿐만 아니라 동일한 지능을 점점 더 가볍고 저렴하게 구현하는 사례도 포함됩니다.

이번에는 "학습 데이터가 고갈될 것 같은데, LLM은 왜 여전히 똑똑해지는가"라는 관점에서 조사해 보았습니다. 알아낸 사실은 다음과 같습니다.

• 학습 데이터는 아직 완전히 고갈되지 않았습니다. 인간이 작성한 공개 텍스트는 2026~2032년경에 다 쓸 것으로 예상되지만, 크롤러 거부(Crawler rejection)의 확산으로 접근 가능한 데이터는 이미 줄어들기 시작했으며, 예상보다 빨리 고갈될 가능성도 있습니다.
• 데이터가 자연적으로 늘어나지 않더라도 똑똑해질 수 있도록, 데이터를 만드는 방식(합성 데이터, 증류), 데이터를 많이 필요로 하지 않는 학습으로 전환하는 방식(사후 학습), 추론 시간(Inference time)을 늘리는 방식 등의 회피책이 검토되어 왔습니다.
• 이용자가 LLM에 요구하는 것이 변함에 따라 평가 형식도 변하고 있습니다. 지식은 검색이나 도구를 통해 외부에서 제공하고, LLM 본체에는 계획·실행·검증이라는 에이전트(Agent)로서의 역할이 요구되게 되었습니다.
• 성능의 상한을 높이는 것뿐만 아니라, 동일한 지능을 더 가볍고 저렴하게 구현하는 방향(MoE, Densing Law)의 개발도 진행되고 있습니다.

종합하면, 최근의 LLM 성능 향상은 학습 데이터를 늘리는 것뿐만 아니라, 학습 방법이나 평가 축 자체를 바꿈으로써도 뒷받침되고 있음을 알 수 있었습니다. 앞으로도 동향을 계속 추적해 나가겠습니다.

• Kaplan et al., "Scaling Laws for Neural Language Models" (2020) https://arxiv.org/abs/2001.08361

• Hoffmann et al., "Training Compute-Optimal Large Language Models" (2022) https://arxiv.org/abs/2203.15556

• Sardana et al., "Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws" (ICML 2024) https://arxiv.org/abs/2401.00448

• Villalobos et al. (Epoch AI), "Will we run out of data? Limits of LLM scaling based on human-generated data" (2024) https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data

• Longpre et al., "Consent in Crisis: The Rapid Decline of the AI Data Commons" (2024) https://www.dataprovenance.org/Consent_in_Crisis.pdf

• Ilya Sutskever, NeurIPS 2024 강연 ("peak data" 발언 보도) (2024) https://www.techmeme.com/241213/p33

• NVIDIA, "Nemotron-4 340B Technical Report" (2024) https://arxiv.org/abs/2406.11704

• Microsoft, "Phi-4 Technical Report" (2024) https://arxiv.org/abs/2412.08905

• Shumailov et al., "AI models collapse when trained on recursively generated data" (Nature, 2024) https://www.nature.com/articles/s41586-024-07566-y

• Gerstgrasser et al., "Is Model Collapse Inevitable?" (2024) https://arxiv.org/abs/2404.01413

• Dohmatob et al., "Strong Model Collapse" (ICLR 2025) https://arxiv.org/abs/2410.04840

• OpenAI, "Learning to reason with LLMs" (2024) https://openai.com/index/learning-to-reason-with-llms/

• DeepSeek-AI, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning" (2025) https://arxiv.org/abs/2501.12948

• Epoch AI, "How far can reasoning models scale?" (2025) https://epoch.ai/gradient-updates/how-far-can-reasoning-models-scale

• xAI, "Grok 4" (2025) https://x.ai/news/grok-4

• ARC Prize, "OpenAI o3 Breakthrough High Score on ARC-AGI-Pub" (2024) https://arcprize.org/blog/oai-o3-pub-breakthrough

• DeepSeek-AI, "DeepSeek-V3 Technical Report" (2024) https://arxiv.org/abs/2412.19437

• Xiao et al., "Densing Law of LLMs" (Nature Machine Intelligence, 2025) https://arxiv.org/abs/2412.04315

• OpenAI, "Why SWE-bench Verified no longer measures frontier coding capabilities" (2026) https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/

• Artificial Analysis, "GPT-5.6 benchmarks across Intelligence, Speed and Cost" (2026) https://artificialanalysis.ai/articles/gpt-5-6-has-landed