논문은 문맥을 고정된 크기의 메모리로 통합하는 수면 단계(sleep phase)를 제안하여, GSM-Infinite에서의 장기 과제(long-horizon task) 성능을 향상시키는 동시에 추론 비용을 줄입니다.

새로운 arXiv 논문은 언어 모델(language models)에 수면 단계(sleep phase)를 추가할 것을 제안합니다. 이 기술은 추론을 일시 중단하고, 최근의 문맥(context)을 고정된 크기의 메모리 계층(memory layers)으로 통합하며, 어텐션 캐시(attention cache)를 비워 이차 복잡도(quadratic cost)를 줄입니다.

주요 사실

• 논문 제목: 'Language Models Need Sleep' (arXiv 2605.26099).
• 셀룰러 오토마타(cellular automata), 그래프 조회(graph lookup), GSM-Infinite에서 테스트됨.
• 수면(Sleep)은 최근 문맥에 대해 오프라인 패스(offline passes)를 실행함.
• 결과를 상태 공간 블록(state-space blocks) 내의 빠른 가중치(fast weights)에 기록함.
• 수면 시간이 길어질수록 어려운 추론 과제에서의 성능이 향상됨.

오늘날의 Transformer 에이전트가 가진 문제는 잘 알려져 있습니다. 문맥이 커질수록 어텐션(attention)의 $O(n^2)$ 복잡도로 인해 추론이 더 느려지고 비용이 많이 듭니다. 일반적인 해결책인 더 많은 토큰을 근처에 유지하는 방식은, 모든 다음 토큰 예측(next-token prediction)을 과거에 대한 더 큰 탐색으로 만듭니다 [@rohanpaul_ai에 따르면].

이제

저자들은 모델이 더 이상 어텐션 캐시 (attention cache)에 남아 있지 않은 과거 정보를 사용해야 하는 셀룰러 오토마타 (cellular automata), 그래프 조회 (graph lookup), 그리고 GSM-Infinite 수학 문제에서 이를 테스트합니다. 주요 결과는 수면 시간이 길어질수록 성능이 향상된다는 것이며, 특히 단순한 사실 기억을 넘어 더 깊은 추론이 필요한 어려운 사례에서 더욱 두드러졌습니다.

핵심적인 의의는 장기적 관점의 에이전트 (long-horizon agents)가 점점 더 커지는 가공되지 않은 컨텍스트 (raw context)를 영원히 유지할 필요가 없을 수도 있다는 점입니다. 중요한 부분은 통합 (consolidate)하고 가공되지 않은 토큰 (raw tokens)은 안전하게 잊어버릴 수 있기 때문입니다. 이는 막대한 추론 비용 (inference costs)을 수반하는 전략인, 컨텍스트 윈도우 (context windows)를 수백만 토큰으로 확장하려는 현재의 트렌드에 직접적으로 도전합니다.

독특한 관점: 이 논문은 장기 컨텍스트 (long-context) 문제를 용량 (capacity)의 문제가 아닌 통합 (consolidation)의 문제로 재정의합니다. 컨텍스트 윈도우를 확장하는 대신 (GPT-4-128K 방식), 수면 단계 (sleep phase)는 생물학적 뇌가 수면 중에 단기 기억을 장기 저장소로 통합하는 방식과 유사하게 경험을 고정된 크기의 잠재 상태 (latent state)로 압축합니다.

주목할 점

Couple in Bed (1977) // Philip Guston American, born Canada, 1913–1980

SWE-Bench 또는 WebArena와 같은 실제 세계의 에이전트 벤치마크에서 수면 단계를 테스트하는 후속 연구와, 어떤 추론 제공업체 (Anthropic, OpenAI, Google)가 그들의 장기 컨텍스트 제품에 유사한 통합 단계를 채택할지 지켜보시기 바랍니다.

원문은 gentic.news에 게시되었습니다.