속지 마세요!
대규모 언어 모델(LLM)도 '잠'이 필요하다고요?
CMU와 UMD의 연구팀이 발견한 사실: Transformer 대규모 언어 모델은 초장기(ultra-long) 작업을 처리할 때 어텐션 메커니즘(Attention Mechanism)이 완전히 무너집니다.
그들은 컨텍스트 길이(Context Length)를 계속해서 쌓아 올리는 대신, 모델에게 직접 '수면'을 배치했습니다.
모델은 수면 기간 동안 최근의 컨텍스트를 모두 지속적인 fast weights로 변환한 뒤 KV cache를 비웁니다.
⚠️ 이 메커니즘은 '수면 유사 통합(sleep-like consolidation)'이라 불리며, 대규모 언어 모델도 잠이 필요하다는 것을 의미합니다.
이 이야기는 2026년 5월 25일에 막 발표된 arXiv 2605.26099에 담겨 있습니다.
제목은 터무니없을 정도로 직설적입니다: 《Language Models Need Sleep》
저자: Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti
전통적인 Transformer는 장기 시퀀스(Long-sequence) 작업에서 실행될수록 점점 더 지치게 되는데, 이는 어텐션(Attention)이 컨텍스트 길이에 대해 이차 함수적으로 폭발하기 때문입니다.
KV cache가 점점 더 많은 비디오 메모리(VRAM)를 차지하면서 추론(Inference) 속도는 점점 느려집니다.
그들이 제안한 방안은 매우 생물학적 영감을 얻었습니다:
모델은 일정 시간마다 '수면 모드'에 진입합니다.
먼저 최근에 축적된 컨텍스트를 N번의 오프라인 순환 탐색(offline cyclic traversal)을 통해 처리합니다.
그 후 학습된 국소 규칙(local rule)을 통해 이러한 정보들을 상태 공간 모델(State-Space Model, SSM) 블록 내의 fast weights로 고착화합니다.
고착화가 완료되면 즉시 KV cache를 비웁니다.
깨어난 후 모델은 작업을 계속하지만, 기억은 '단기 휘발성'에서 '장기 지속성'으로 변해 있습니다.
실험 결과는 이를 직접적으로 증명합니다: 수면의 깊이나 수면 시간을 늘리면 수면 후의 추론 능력이 현저히 향상됩니다.
이것은 단순한 파라미터 기법이 아니라, 모델이 긴 컨텍스트를 처리하는 패러다임을 완전히 바꾸는 것입니다.
빅테크(Big Tech) 기업들은 여전히 비디오 메모리를 무식하게 쌓아 올려 컨텍스트를 백만 단위로 늘리는 경쟁에 미쳐 있습니다.
반면 이 작은 연구팀은 인간의 가장 단순한 메커니즘인 '잠'을 사용하여 문제의 근본을 해결했습니다.
전체 프레임워크는 100% 오픈 소스이며, 논문, 코드, 아이디어 모두 arXiv에 공개되어 있습니다.
빅테크의 폐쇄형(Closed-source) 장기 컨텍스트 구독 모델은, 모델이 사실 자원을 아끼기 위해 '잠을 잘 수 있다'는 사실을 당신이 모른다는 점에 기반하고 있습니다.
