Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 기사는 AI 모델의 성능이 단순히 규모 확장만으로는 한계에 다다르고 있음을 지적합니다. OpenAI의 o1 등 최신 모델들이 역량 지수(capabilities index)에서 GPT-4 대비 급격한 점프를 보인 데이터를 제시하며, 모델 발전에는 여러 복합적인 요소가 작용하고 있음을 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2024년 11월, [The Information]에 따르면 OpenAI의 차세대 대형 모델인 Orion이 GPT-4보다 우수했지만, GPT-3 대비 GPT-4가 보여준 수준보다는 훨씬 못 미친다고 보도되었습니다. 한 달 후 Ilya Sutskever는 NeurIPS에서 공개적으로 "우리가 알고 있는 형태의 사전 학습(Pre-training)은 의심할 여지 없이 끝날 것"이라고 말했습니다. 그의 추론은 간단했습니다. 모델을 더 똑똑하게 만드는 방법은 더 많은 텍스트로 더 큰 모델을 훈련시키는 것이고, "인터넷은 하나뿐이기 때문입니다."
그는 인터넷에 대해서는 옳았습니다. 하지만 GPT-4 이후 시점별로 사용할 수 있는 최고의 모델이 [Epoch AI의 역량 지수(capabilities index)]에서 어떻게 변화했는지 살펴보겠습니다. 이 지수는 50개가 넘는 벤치마크를 하나의 점수로 통합합니다. GPT-4는 여기서 125.7점을 기록했으며, 따라서 최고의 모델이 그보다 얼마나 앞서 있었는지에 대한 내용입니다:
[Points ahead of GPT-4 on Epoch's capabilities index]
Epoch의 역량 지수에서 GPT-4 대비 앞선 점수 (데이터)
2026년 10월 28일 기준, Epoch의 벤치마크 데이터에서 각 날짜 이전에 출시된 최고의 모델입니다. OpenAI의 첫 o1 모델은 2024년 9월에 등장했습니다. 지수에서 가장 어려운 벤치마크는 주로 코드 및 에이전트 작업입니다.
GPT-4가 2023년 3월에 출시된 시점부터 2024년 중반까지, 최고의 모델은 겨우 4점 남짓한 점수 상승을 보였습니다. 그러다 OpenAI의 첫 o1 모델이 2024년 9월에 등장했고, 그 이후 6개월마다 이 기간 전체가 보여준 상승폭보다 더 많은 점수를 추가했습니다. (벤치마크는 이 규모에서 불안정해지므로, 아래에서 다시 다루겠습니다.)
그 벽은 실제로 존재했으며, 다만 소리보다 좁았을 뿐이었다. GPT-4.5는 2025년 2월에 출시된 모델 중 가장 큰 사전 학습(pre-trained) 모델로, GPT-4의 학습 컴퓨트 대비 약 18배에 달했다. 이 모델은 두 달 전에 나왔던 o1보다 낮은 점수를 기록했다. 이후 GPT-5는 GPT-4.5의 컴퓨트 대비 약 6분의 1 수준으로 두 모델 모두를 능가했다. (이러한 컴퓨트 수치는 Epoch's estimates에 따른 것으로, 연구소들이 이를 공개하지 않기 때문에 일부는 추정치입니다.) 크기는 여전히 무언가를 보장했고, GPT-4.5는 Epoch의 작문 벤치마크(writing benchmark)에서 o1을 능가했지만, 스스로 최전선(frontier)에 대한 설명을 제공하는 능력은 부족했다.
주도권을 잡은 것은 주로 다섯 가지 요소이다. 이들 중 어느 것도 2024년에 새롭게 등장한 것은 아니지만, 연구소들이 여기에 크게 의존하기 시작한 시점일 뿐이다. 하지만 이들이 모두 같은 역할을 하는 것은 아니며, 헤드라인 기사들은 이들을 모두 '더 똑똑하다'고 부른다. 두 번째와 세 번째 요소는 모델 자체를 개선한다. 첫 번째 요소는 동일한 모델이 답변당 더 많은 컴퓨트를 투입하여 성능을 향상시키게 하고, 네 번째 요소는 이를 더 나은 환경(setup)으로 감싸준다. 다섯 번째 요소는 나머지 요소들이 시도해 볼 만큼 저렴하게 만든다.
GPT-4는 한 번에 답변했다. 작성된 첫 단어가 곧 답변의 시작이었다. o1은 먼저 자신의 풀이 과정(working)을 글로 쓰도록 훈련받았으며, 때로는 수천 개의 단어—우리가 볼 수 없는—를 거쳐서야 비로소 답을 내놓는다. 강력한 고등학생들을 위한 수학 경시대회인 AIME 2024에서, o1의 o1 포스트에 따르면, 이는 OpenAI가 GPT-4o를 사용했을 때 12%였던 점수를 o1을 사용하면서 74%까지 끌어올린 결과였다.
일부 내용은 학습(training)에 해당하지만, 같은 모델을 더 오래 생각하게 할 수도 있습니다. ARC Prize는 노력 설정(effort settings) 전반에 걸쳐 지시사항이 없는 퍼즐 게임 세트인 ARC-AGI-3에서 [GPT-6 Astra]를 실행했습니다. 동일한 가중치(weights)로 낮은 설정에서는 17.5%, 높은 설정에서는 62.7%를 해결했습니다.
[Google DeepMind와 Berkeley의 논문]에 따르면, 작게 생각하는 모델이 자신보다 14배 큰 모델을 이길 수 있었지만, 이는 작은 모델이 이미 어느 정도 해결할 수 있는 문제에 한해서였습니다. 따라서 더 오래 생각하게 하는 것이 단순히 더 많은 것을 입력하는 것보다 내재된 능력(what's in there)을 더 많이 끌어내는 것입니다.
또한 요청할 때마다 비용이 발생합니다. ARC Prize는 2024년 12월에 o3가 오랜 시간 생각하는 방식으로 첫 번째 ARC-AGI 테스트에서 87.5%를 달성했을 때, 이 퍼즐 하나에 수천 달러가 들 수 있다고 언급했습니다. 이는 사람에게는 약 5달러에 불과합니다. 저는 제 사용량도 궁금해서 Claude Code와 Codex 세션 로그의 토큰 수를 확인했습니다. 지난 30일 동안 모델들은 제가 읽지 않은 생각(thinking)에 대한 토큰 4,900만 개와 다른 모든 것에 대한 토큰 4,600만 개를 작성했습니다.
모델이 유용하게 생각하도록 가르치려면, 컴퓨터가 채점할 수 있는 문제(예: 정답이 알려진 수학 문제 또는 테스트가 포함된 코드)를 제공해야 합니다. 시도하게 하고, 점수를 매기고, 올바른 답을 얻은 방향으로 유도합니다. 아무도 풀이 과정을 직접 작성해주지 않습니다.
DeepSeek은 [R1-Zero]를 통해 이것이 얼마나 효과적인지 보여주었습니다. 그들은 기본 모델을 가져와 오직 이러한 종류의 채점(marking)만으로 훈련시켰고, AIME 점수가 15.6%에서 77.9%로 상승했습니다. 그 과정에서 아무도 방법을 보여주지 않았음에도 불구하고 스스로 작업물을 확인하고 되돌아가기(backtracking)를 시작했습니다.
이것은 트레이닝의 큰 부분이 되었습니다. Sutskever는 [2025년 11월]에 "트위터에서 사람들이 말하는 것에 근거하여", 연구소들이 이제 "사전 학습(pre-training)보다 강화학습(RL)에 더 많은 컴퓨팅 자원을 사용한다"고 말했습니다. 어느 연구소도 이 비율을 공개하지 않기 때문에, 이것이 가장 가까운 추정치입니다.
컴퓨터가 채점할 수 있는 분야에서 가장 잘 작동하며, 이는 주로 수학과 코드를 의미합니다. 재미있게도, 이것이 대부분의 어려운 벤치마크(benchmarks)가 테스트하는 영역이기도 합니다. 그리고 실제로 얼마나 많은 것을 가르쳐주는지에 대해서는 여전히 논쟁 중입니다. [NeurIPS 2025 논문]에 따르면, 원래 모델에게 충분한 시도를 제공하면, 이는 학습된 모델만큼 또는 그 이상의 문제를 해결한다는 것이 밝혀졌습니다. 이 해석에 따르면, RL은 주로 정답을 처음부터 나오게 만드는 역할을 합니다. [NVIDIA의 ProRL]은 적어도 작은 모델에서, 원래 모델이 풀 수 없었던 답을 찾아낸 훨씬 더 긴 훈련으로 반박했습니다.
그럼에도 불구하고 Sutskever가 제기한 인터넷에 대한 지적은 남아 있습니다. Epoch [reckons]에 따르면, 사용 가능한 공용 인간 텍스트는 약 300조 토큰이 있으며, 현재 속도로 진행될 경우 2026년과 2032년 사이에 모두 소진될 것입니다. 이 기간의 초반 마감 시점은 올해입니다.
그래서 연구소들은 모델들에게 더 많은 것을 쓰도록 합니다. 강력한 모델이 교과서, 연습 문제 및 풀이된 답안을 작성하고, 새로운 모델은 그것들로부터 학습합니다. Microsoft의 [Phi-4]는 GPT-4o가 작성한 텍스트에 중점적으로 훈련된 작은 모델이며, 대학원 수준 과학 시험과 수학 시험에서 GPT-4o를 능가했습니다. 단지 그 두 가지 영역에서만 그렇다는 점을 유념해야 하며, Microsoft는 이 일부를 자체 트레이닝 혼합물(training mix)로 포함시켰습니다.
증류(Distillation)는 추론을 목표로 하는 동일한 기술입니다. DeepSeek은 R1에게 수많은 문제에 대한 풀이 과정을 작성하게 한 다음, 이를 기반으로 훨씬 작은 모델들을 훈련시켰습니다. 적절한 게이밍 PC에서도 실행할 수 있을 만큼 작은 70억 개 매개변수(parameter)를 가진 모델은 AIME 2024에서 55.5%의 점수를 기록했습니다. 같은 논문에서 DeepSeek 자체적으로 돌린 GPT-4o는 9.3%를 얻었습니다. RL에 의문을 제기했던 NeurIPS 논문에서도 증류가 모델에게 진정으로 새로운 추론 능력을 가르칠 수 있음을 발견했습니다.
이 방식은 모델 자체를 전혀 건드리지 않습니다. 한 번에 답을 요구하는 대신, 코드를 실행하게 하거나, 파일을 읽게 하고, 오류를 확인한 다음 다시 시도하도록 합니다. 제가 요즘 이 모델들을 사용하는 방식이 바로 이것입니다. 에이전트가 리포지토리(repo) 전체를 작업하고, 테스트를 실행하며, 고장 난 부분을 수정하는 식입니다.
SWE-agent는 2024년 5월에 실제 GitHub 이슈들의 집합인 SWE-bench에서 이를 테스트했습니다. GPT-4 Turbo는 검색을 통해 찾은 파일들을 받고 수정본을 요청받았을 때, 그중 1.3%를 해결했습니다. 대신 터미널과 몇 가지 명령어를 제공했을 때는 같은 모델이 12.5%를 해결했습니다.
이는 벤치마크 점수를 불안정하게 만듭니다. Epoch은 설정을 업그레이드하고 2026년 2월에 SWE-bench Verified로 실행하는 토큰 제한을 설정했으며, 모델 변경 없이 점수가 상승했습니다.
METR은 이 지표를 가장 인간적인 방식으로 측정합니다. 사람들이 일련의 작업들을 완료하는 데 걸리는 시간을 측정한 다음, 모델이 그 시간의 절반을 얼마나 오래 지속할 수 있는지 찾아냅니다. GPT-4는 몇 분 정도의 작업을 처리했습니다. o3는 2시간짜리 작업을 처리했고, Anthropic의 Claude Mythos Preview는 2026년 4월에 최소 16시간짜리 작업을 처리했습니다. METR의 집계에 따르면, 이는 2019년 이후 약 7개월마다, 그리고 2024년 이후에는 약 3개월마다 두 배가 되었습니다.
The word cat goes into a tall lit block, then a grid of 256 small dark squares with 8 of them lit.
DeepSeek-V3는 각 단어를 256개의 전문가 중 8개와 공유되는 1개를 이용합니다
더 오래 생각하거나, 강화학습(RL) 및 에이전트(agents)는 단순히 답변하는 것보다 훨씬 많은 컴퓨팅 자원(compute)을 소모합니다. 만약 각 단계의 비용이 저렴해지지 않았다면, 이들은 연구실에 갇혀 있을 정도일 것입니다.
핵심은 전문가 혼합(mixture of experts)입니다. 모델이 수많은 작은 블록으로 분할되어 있고, 단어마다 소수의 블록만 활성화됩니다. DeepSeek-V3는 6,710억 개의 파라미터를 가지고 있지만, 한 번에 370억 개만을 사용합니다. 최종 훈련 과정에는 임대 가격으로 약 560만 달러에 해당하는 280만 GPU 시간이 소요되었으며, DeepSeek은 이를 GPT-4o 및 Claude 3.5 Sonnet과 동등한 수준으로 끌어올렸습니다.
