AI 산업은 5년 동안 수천억 달러를 단 하나의 가설에 쏟아부었습니다: 모델을 더 크게 만들고, 더 많은 데이터를 주입하면, 성능(capability)이 따라올 것이라는 가설 말입니다. 이제 그 가설은 한계에 다다르고 있습니다. 하지만 다음에 무엇이 올 것인가에 대한 논의는 초점이 맞지 않았습니다 — "테스트 시간 연산 (test-time compute)", "사후 학습 (post-training)", "에이전트 워크플로우 (agentic workflows)"를 향한 모호한 몸짓뿐이었습니다. 이 중 그 어떤 것도 구조적인 문제를 해결하지 못합니다.

📖 차트와 임베디드 소스가 포함된 전체 버전을 ComputeLeap에서 읽어보세요 →

세 개의 독립적인 연구팀이 방금 그 일을 해냈습니다. 2026년 상반기에 MIT, Tencent, Huawei의 연구원들은 각각 동일한 결론으로 수렴하는 프리프린트(preprints)를 발표했습니다: 프런티어 AI (frontier AI)의 진정한 병목 현상은 연산(compute), 데이터, 또는 아키텍처(architecture)의 크기가 아니라는 것입니다. 그것은 바로 지속 학습 (continual learning) — 모델이 이미 알고 있는 것을 잊지 않으면서 새로운 지식을 흡수하는 능력입니다. 그리고 현재 이 분야가 처한 위치와 도달해야 할 위치 사이의 격차는 엄청납니다.

이것은 프런티어 모델 경쟁의 소음 속에 묻혀 있는 신호입니다. 기술 언론이 새로운 벤치마크(benchmark) 석권 소식을 다루는 동안, 이 세 편의 논문은 차세대 AI 시스템에 있어 "진보"가 무엇을 의미하는지를 조용히 재정의하고 있습니다.

아무도 이름 붙이고 싶어 하지 않는 확장성의 벽

Ilya Sutskever는 그의 Dwarkesh Patel 인터뷰에서 명확하게 말했습니다: "확장의 시대는 끝났습니다. 연구의 시대가 시작되었습니다." 그는 그 변화의 시기를 정확하게 짚었습니다 — 2012년부터 2020년까지는 아이디어가 진보를 이끌었던 "연구의 시대"였습니다. 2020년부터 2025년까지는 사전 학습 (pre-training)이 공식이 되고 기업들이 연산(compute)에 수십억 달러를 쏟아부었던 "확장의 시대"였습니다. 이제 그 공식은 고갈되었습니다.

문제는 확장이 더 이상 작동하지 않는 것이 아니라, 비용은 파멸적으로 증가하는 반면 이득은 미미해졌다는 점입니다. 우리는 이전에 수학적 내용을 자세히 다룬 바 있습니다: 자본 지출 대비 성능 곡선(the capex-to-capability curve)이 꺾이고 있으며, 대형 연구소들은 2%의 성능 향상을 위해 2년 전보다 더 많은 비용을 지출하고 있습니다.

하지만 Sutskever의 통찰은 경제학보다 더 깊은 곳을 향합니다. 진짜 문제는 구조적(architectural)입니다. 현재의 LLM(대규모 언어 모델)은 **정적인 결과물(static artifacts)**입니다. 모델을 한 번 (엄청난 비용을 들여) 학습시키고 배포하면, 그 즉시 노후화되기 시작합니다. 세상은 변합니다. 새로운 프로그래밍 언어가 등장하고, 규제가 바뀌며, 과학적 발견이 일어납니다. 하지만 당신의 1억 달러짜리 모델은 그 어떤 것에 대해서도 알지 못합니다.

Saanya Ojha Substack - Ilya Declares the End of the Scaling Era

Substack에서 원문 보기 →

전통적인 해결책은 처음부터 다시 학습(retrain)시키는 것입니다. 하지만 Andrej Karpathy가 지적했듯이, "그 압축 과정의 대부분은 인지적 작업(cognitive work)이 아닌 메모리 작업(memory work)입니다." 재학습은 단순히 지식을 업데이트하는 것에 그치지 않고, 모델을 가치 있게 만들었던 추론 능력(reasoning capabilities)을 파괴할 위험이 있습니다. 이것이 바로 안정성-가소성 딜레마(stability-plasticity dilemma)이며, 이는 수십 년 동안 신경과학(neuroscience) 분야의 미해결 과제였습니다. 이제 이것은 산업용 AI의 핵심 과제가 되었습니다.

Andrej Karpathy tweet discussing new paradigm for Claude interaction and inline integration

X에서 원문 보기 →

세 연구소가 실제로 말하고 있는 것

현재의 시점이 이전의 "확장의 종말" 주기와 다른 점은 다음과 같습니다. 서로 다른 대륙과 서로 다른 인센티브 구조를 가진 세 개의 독립적인 팀이 2026년에 동일한 진단과 동일한 범주의 해결책으로 수렴하는 연구를 발표했다는 사실입니다.

MIT: 지속적 학습(Continual Learning)으로서의 자기 증류(Self-Distillation)

Idan Shenfeld, Mehul Damani, Jonas Hubotter, 그리고 Pulkit Agrawal는 2026년 1월에 ["Self-Distillation Enables Continual Learning">(https://arxiv.org/abs/2601.19897)를 발표했습니다. 이들의 핵심 통찰은 다음과 같습니다: 표준 지도 미세 조정 (Supervised Fine-Tuning, SFT)은 오프-폴리시 (off-policy) 데이터로 학습하기 때문에 분포 불일치 (distribution mismatch)를 유발하여 이전의 능력을 지워버린다는 점입니다. 이들의 해결책인 자기 증류 미세 조정 (Self-Distillation Fine-Tuning, SDFT)은 모델 스스로를 교사로 사용합니다. 모델은 인컨텍스트 학습 (in-context learning)을 통해 데모 (demonstrations)를 조건화한 다음, 해당 온-폴리시 (on-policy) 지식을 다시 자신의 가중치로 증류 (distill)합니다.

결과는 놀랍습니다: SDFT는 "SFT를 지속적으로 능가하며, 치명적 망각 (catastrophic forgetting)을 실질적으로 줄이면서 더 높은 새로운 작업 정확도를 달성하여, 단일 모델이 성능 퇴보 없이 시간이 지남에 따라 여러 기술을 축적할 수 있게 합니다." 쉽게 말해, 이들은 모델이 기존 기술을 퇴보시키지 않으면서도 새로운 기술을 계속 학습할 수 있음을 보여주었습니다. 이는 표준 미세 조정 (fine-tuning)에는 없는 특성입니다.

Tencent: 산업 규모의 지속적 지시 미세 조정 (Industrial-Scale Continual Instruction Tuning)

Tencent 팀은 ACM Web Conference 2026에 채택된 ["Self-Evolving LLMs via Continual Instruction Tuning">(https://arxiv.org/abs/2509.18133)을 통해 다른 접근 방식을 취했습니다. MIT가 이론적 토대를 연구했다면, Tencent는 지속적 학습 (continual learning)을 실제 운영 환경 (production)에 배포하는 데 집중했습니다. 이들은 MoE-CL — 즉, 작업별 지식 유지를 위한 전용 전문가 모듈과 작업 간 전이 (cross-task transfer)를 위한 공유 전문가를 함께 할당하는 Mixture of LoRA Experts 아키텍처를 도입했습니다.

결과는 단순히 학술적인 수준에 그치지 않았습니다. Tencent Video Platform에서의 오프라인 A/B 테스트 결과, 콘텐츠 준수 정확도가 15.3% 향상되었음을 보여주었으며, 이는 지속적 학습이 이론적인 호기심이 아니라 실제 운영 배포 전략임을 확인시켜 주었습니다. 이들의 시스템은 모델이 "과도한 외부 개입 없이 순차적인 작업에 자율적으로 적응"할 수 있게 하며, 이는 산업용 LLM 운영자들에게 정확히 필요한 기능입니다.

Huawei: 생태계 수준의 관점

Huawei의 팀(Hao Jiang, Enneng Yang, 그리고 Sun Yat-sen University 및 Renmin University의 공동 연구진)은 2026년 6월 논문 [

가장 야심 찬 단일 결과는 독립 연구자로부터 나왔습니다. Anurup Ganguli의 TFGN 논문 (2026년 5월)은 LLM 규모에서 태스크-프리(task-free), 리플레이-프리(replay-free) 지속적 사전 학습을 시연했습니다. 이는 LLaMA 3.1 8B 모델에서 거의 제로에 가까운 역방향 전이(-0.007)를 달성했으며, 도메인 간 직교 기울기 분리율은 99.59%였습니다. 실질적으로 말하자면: Prose, Python, Math, Biomedical, Chinese, JavaScript 도메인에 순차적으로 학습된 모델이 각 도메인의 모든 능력을 본질적으로 유지했습니다. 리플레이 버퍼도 없고, 태스크 레이블도 없고, Fisher 페널티도 없습니다.

TFGN은 대규모 지속적 사전 학습의 8가지 평가 기준을 모두 통과한 최초의 방법론입니다. 만약 이것이 최첨단 규모에서 재현된다면, 모델 유지 및 연속 배포에 가능한 것이 무엇인지 근본적으로 변화시킬 것입니다.

특히 주목할 점은 내부자들의 낙관론이 연구 궤적과 일치한다는 것입니다. Anthropic에서 RL 스케일링을 이끄는 Sholto Douglas는 No Priors 팟캐스트에서 지속적 학습이 2026년에

MIT의 자기 증류 (self-distillation) 논문에 대한 Hacker News 토론(109 points, 26 comments)은 커뮤니티 내의 생산적인 긴장감을 드러냈습니다. 가장 많은 추천을 받은 댓글은 해당 논문의 용어를 비판하며, "SFT (Supervised Fine-Tuning)와 지속적 학습 (continual learning)은 서로 다른 두 가지이다"라고 주장했습니다. 온-정책 (on-policy) 대 오프-정책 (off-policy) 학습, 그리고 무엇을 "진정한" 지속적 학습으로 볼 것인지 아니면 강화된 미세 조정 (fine-tuning)으로 볼 것인지에 대한 이어지는 논쟁은, 이 분야의 정의가 그 야망을 따라잡고 있다는 증거 그 자체입니다.

Hacker News discussion on Self-Distillation Enables Continual Learning paper with 109 points and 26 comments

Hacker News에서 보기 →

진정한 지식 습득과 분포 패턴 매칭 (distributional pattern matching) 사이의 차이점에 대한 긴 스레드는 더욱 시사하는 바가 컸습니다. 한 댓글 작성자는 자기 증류 (self-distillation)가 "훈련된 모델 가중치의 EMA (Exponential Moving Average)를 교사 (teacher)로 사용하는 것"이며, 직접적인 출력값이 아닌 확률 분포 (probability distributions)를 기반으로 작동한다고 언급했습니다. 이는 해당 접근 방식이 실제로 능력을 보존하는 것인지, 아니면 단순히 드리프트 (drift)에 대해 규제 (regularizing)를 가하는 것인지를 결정짓는 미묘하지만 중요한 차이입니다.

이전 HN에서의 Sutskever 관련 논의는 훨씬 더 많은 관심을 끌었으며, 댓글 작성자들은 "AI를 워크플로우에 통합하는 데는 시간이 걸리며, 모델은 추가적인 개선 없이도 더 나은 통합을 통해 강력한 영향을 미칠 수 있다"라고 언급했습니다. 능력의 격차보다 배포의 격차가 더 중요하다는 이러한 실용적인 관점은 지속적 학습 (continual learning) 가설을 직접적으로 뒷받침합니다.

Hacker News discussion on Ilya Sutskever moving from age of scaling to age of research

Hacker News에서 보기 →