지속적 학습에서 LLM의 지식 보유를 위한 새로운 방법, 수면 프레임워크

2026년 10월 27일
Ali Behrouz 및 Vahab Mirrokni, Google Research

우리는 지속적 학습(continual learning)에 '수면 단계(sleep phase)'를 도입하여 대규모 언어 모델(LLMs)이 파국적 망각(catastrophic forgetting)이나 정적인 지식 차단 시점(static knowledge cutoffs)을 완화하면서 새로운 사실들을 지속적으로 통합하고 추론 능력을 향상시킬 수 있도록 합니다.

현대의 LLMs는 사전 학습(pre-training)과 In-Context Learning (ICL)을 통해 인상적인 성능을 달성합니다. 하지만 일단 배포되면, 이 모델들은 대부분 정적 상태를 유지하며 고정된 지식 차단 날짜로 작동하기 때문에 장기적인 역량을 습득하거나 새로운 정보에 적응하는 것이 불가능합니다.

새로운 데이터로 모델을 업데이트하는 것이 당연한 해결책처럼 보이지만, 지속적인 매개변수(parameter) 업데이트는 종종 파국적 망각을 유발합니다. 이는 새로운 작업을 학습할 때 이전에 학습했던 작업의 성능이 심하게 저하되는 근본적인 문제입니다. 또는 ICL에만 엄격히 의존하는 것은 지식 보유를 즉각적인 컨텍스트 창(context window)으로 제한합니다. 컨텍스트 세션이 끝나면, 습득된 단기 정보는 잊힙니다.

인간의 뇌가 휴식 중에 기억을 처리하고 안정화시키는 방식에서 영감을 받아, 우리는 지속적 학습에 '수면 프레임워크'를 도입했습니다. 이는 대규모 언어 모델(LLMs)에게 연속적인 주기적 생명 주기(periodic lifecycle)를 갖추게 하는 학습 패러다임으로, LLMs가 끊임없이 학습하고 취약한 단기 컨텍스트를 안정적인 장기 매개변수(long-term parameters)로 통합할 수 있게 합니다. 이 프레임워크를 통해 우리는 능동적 상호작용과 오프라인 메모리 통합을 번갈아 수행하는 것이 LLMs가 새로운 사실들을 지속적으로 습득하고, 최대 10M 토큰까지의 장기 컨텍스트 지식을 유지하며, 복잡한 추론 능력을 향상시킬 수 있음을 입증합니다.

전통적인 머신러닝은 학습(training)과 추론(inference) 사이에 엄격한 분리를 기반으로 합니다. 지속적 학습 프레임워크에서는 이러한 구분이 인위적이 됩니다. 지능형 에이전트는 끊임없이 학습하고, 적응하며, 정보를 처리해야 합니다.

수면 패러다임 하에서, LLM은 두 가지 주요 상태에 걸쳐 작동합니다:

‘수면(sleep)’, ‘꿈꾸기(dreaming)’, ‘자기 개선(self-improvement)’과 같은 용어는 신경과학에서 차용했지만, 우리의 프레임워크는 고정된 모델 아키텍처와 인간이 정의한 훈련 규칙 내에서만 작동합니다. 오프라인 수면 단계 동안, 모델은 사전에 할당된 Mixture-of-Experts (MoE) 메모리 블록을 해제하고 자체 생성한 연습 예제를 사용하여 수치적 가중치를 업데이트합니다. 이 자동화된 사후 훈련 주기는 핵심 코드베이스와 설계를 변경하지 않으면서 배포된 모델이 새로운 사실을 흡수하고 추론 정확도를 높이는 데 도움을 줍니다.

이 수면 패러다임은 기억 통합(memory consolidation)과 꿈꾸기(dreaming)의 두 단계를 통해 치명적 망각(catastrophic forgetting) 및 지속적인 적응을 다룹니다.

인간의 뇌에서 비렘(non-rapid eye movement, NREM) 서파 수면은 추상화와 증류를 통해 취약한 기억을 장기 구조로 통합합니다. 우리가 제안하는 수면 프레임워크는 두 가지 핵심 기술 메커니즘을 통해 이 자연 현상을 반영합니다:

수면 프레임워크 개요: 활성 단계의 입력 스트림은 수면 주기에 진입하기 전에 단기 메모리에 저장되며, 이는 통합(Consolidation)과 꿈꾸기(Dreaming)로 분기됩니다. (통합은 저랭크 구조와 MoE를 사용하여 취약한 단기 토큰을 확장된 장기 파라미터 메모리로 전송하는 과정이며, 꿈꾸기는 무작위 전문가 및 RL 정제를 통한 자율적인 자기 개선입니다).

REM 수면 동안 인간의 뇌는 시나리오를 능동적으로 시뮬레이션하고, 감정적/의미론적 연결을 통합하며, 새로운 신경 경로를 탐색합니다. 이를 반영하여, “꿈꾸기 단계” 동안 수면 프레임워크는 자율적인 자기 개선 루프를 구현합니다:

경험적 결과를 넘어, 우리의 수면 패러다임은 두 단계(기억 통합 및 꿈꾸기)가 단순히 새로운 지식을 오래된 능력과 교환하지 않으면서도 지속적인 학습을 지원할 수 있는 이유를 명확히 하는 이론에 근거하고 있습니다.

기억 공고화(Memory Consolidation)의 관점에서 분석에 따르면, 지식 시딩(Knowledge Seeding)은 구조화되고 저랭크 압축 문제(structured, low-rank compression problem)로 이해될 수 있습니다. 모델에게 단기 추적 기록(short-term traces)의 모든 세부 사항을 파라미터에 복사하도록 요구하지 않습니다. 대신, 이 과정은 모델 자체의 온-정책 행동(on-policy behavior)과 학습 목표가 보상하는 의미론적 특성(semantic qualities) 둘 다를 가장 잘 보존하는 간결한 방향 집합을 식별합니다.

이러한 관점은 두 신호의 상보적인 역할을 설명해 줍니다. 온-정책 증류(on-policy distillation)는 기억 통합을 모델이 실제 추론 시간(inference time)에 생성할 궤적과 일치시키고, 오직 교사(teacher)가 생성한 분포로만 학습할 때 발생할 수 있는 불일치를 줄여줍니다. 한편, 의미론적 보상(semantic reward)은 무엇을 유지할 가치가 있는지 변화시켜, 단순히 토큰 확률에 맞는 것을 넘어서 의미와 작업 관련 행동을 보존하는 방향에 우선순위를 부여합니다. 이후 파라미터 확장(Parameter expansion)은 선택된 기억들을 이전에 공고화된 지식을 덮어쓰지 않고 기록하는 데 필요한 용량을 제공합니다.

'꿈꾸는 과정'(Dreaming)에서는 이론이 무작위 전문가 활성화(random expert activation)와 보상 기반 샘플 선택(reward-based sample selection)을 학습의 기하학(geometry of learning)을 개선하기 위한 메커니즘으로 특성화합니다. 다양한 MoE(Mixture of Experts)를 주입하는 것은 합성 생성 과정에서 탐색되는 그래디언트 방향 집합을 넓혀, 모델이 평소 깨어 있을 때 얻는 데이터만으로는 유도되는 것보다 더 풍부한 업데이트 컬렉션에 노출시킵니다. 이후 그래디언트 기반 필터링(Gradient-based filtering)은 가장 유용한 학습 신호를 담고 있는 합성 경험들을 강조하여, 근본적인 그래디언트 공간의 구조를 보존하면서 정보가 풍부한 방향을 강화합니다.

이 단계들이 결합되어 더 균형 잡힌 최적화 지형(optimization landscape)을 만듭니다. 학습이 소수의 방향에 의해 덜 지배되고, 기울기(gradients)가 더 잘 조건화되며, 모델은 자체 능력을 개선할 때 더욱 안정적인 진전을 할 수 있습니다. 이러한 관점에서 꿈꾸는 과정(dreaming)은 단순히 스스로 생성된 데이터 증강(data augmentation)이 아닙니다. 이는 모델이 스스로를 개선하는 업데이트를 다양화하고, 선택하며, 통합하기 위한 의도적인 과정입니다.

클래스 증분 학습(Class-Incremental Learning), 지속적 번역(continual translation), 최대 10M 토큰까지의 장문맥 확장(long-context scaling), 사실 지식 통합(factual knowledge incorporation), 수학적 추론(mathematical reasoning)을 포함한 주요 평가 축 전반에 걸친, 기준 접근 방식(in-context learning 및 supervised fine-tuning 등) 대비 저희 수면 프레임워크의 비교 성능.

지속적 번역의 경우, 만주어(Manchu)나 칼라마낭어(Kalamang)와 같은 미지의 언어에서 수면 프레임워크는 다단계 평가에서 거의 0에 가까운 성능 저하를 유지한 반면, ICL, Cartridges, supervised fine-tuning (SFT)과 같은 표준 기준 방식들은 순차적 학습 과정 동안 심각한 파국적 망각(catastrophic forgetting)을 겪었습니다.

BABILong 벤치마크의 장문맥 이해에서, 저희 수면 방식은 수면 시간 통합(sleep-time consolidation)을 사용하여 장문맥 정보를 매개변수 메모리(parametric memory)에 직접 압축함으로써 GPT-4 및 Titans와 같은 강력한 기준 모델들을 능가하며 최대 10M 토큰까지 거의 완벽하게 확장되는 성능을 보여주었습니다.

SQuAD 및 지속적 사전 학습(CPT)에서 평가된 사실 지식 통합의 경우, 저희 수면 방식은 단일 작업(single-task)에서 48.9%, CPT 평가에서 46.2%를 달성했습니다. 이는 기본 모델(base model), SFT, 그리고 자체 적응 언어 모델(Self-Adapting Language Models, SEAL)을 포함한 기준 방법들보다 우수한 성능으로, 기존 모델 표현 능력을 저하시키지 않으면서 새로운 사실 정보를 성공적으로 통합했기 때문입니다.

마지막으로, AIME 24/25 및 HMMT 25를 포함한 수학적 추론 벤치마크에서 수면 강화 기반 모델은 각각 79.2%, 69.0%, 46.1%의 정확도 점수를 달성했습니다. 이는 SFT, 그룹 상대 정책 최적화(GRPO), 온-정책 자체 증류(OPSD)와 같은 기존 기준선들을 능가하는 수치로, 메모리 통합과 모방 학습을 결합하는 것이 우수한 추론 성능을 이끌어낸다는 것을 보여줍니다.

저희의 수면 패러다임은 자율적이고 지속적으로 학습하는 AI 시스템으로 나아갈 길을 제시합니다. 정적인 사전 훈련(pre-training)과 취약한 컨텍스트 창(context window)을 넘어, 능동 학습(active learning)과 오프라인 휴식을 번갈아 가며 수행함으로써 LLM이 단기 기억을 유지하고, 새로운 기술을 장기 파라미터 구조로 추상화하며, 파국적 망각(catastrophic forgetting) 없이 지속적으로 자체 개선할 수 있도록 힘을 실어줍니다.

본 연구는 Ali Behrouz (Google 및 Cornell University), Farnoosh Hashemi (Cornell University), Adel Javanmard (Google 및 University of Southern California), Vahab Mirrokni가 수행했습니다. 저희는 Yuan Deng과 Corinna Cortes에게 작업 검토와 귀중한 제안에 감사드립니다. 또한 Mark Simborg, Kimberly Schwede, Tim Herrmann에게 이 블로그 게시물 작성에 도움을 준 점도 감사합니다.