사람이 잠을 자야 하듯, 대규모 언어 모델(LLM)도 예외 없이 잠이 필요하다!

사람이 잠을 자야 하듯, 대규모 언어 모델(LLM)도 예외 없이 잠이 필요하다!

최근 대규모 언어 모델(LLM)을 사용하여 진정한 심층 추론(Deep Reasoning)이 필요한 프로젝트를 진행하고 있는데,

10만 토큰(token) 분량의 계약서나 전체 코드베이스(codebase)를 집어넣는 것은 아무런 문제가 없습니다.

하지만 질문을 여러 단계로 건너뛰며 추궁하거나, 흩어져 있는 사실들을 하나로 엮으려고 하면 모델이 혼란을 느끼기 시작합니다.

정보가 분명히 모두 존재함에도 불구하고, 답이 어디에 있는지는 아는 것 같으면서도 정작 그것들을 조합해내지 못합니다.

단순히 잠을 자는 것뿐만 아니라, 기억력 또한 큰 문제입니다.

CMU와 UMD의 연구자들이 최근 이 장벽을 직접 허무는 논문을 발표했습니다.

논문 제목은 바로 "Language Models Need Sleep"입니다.

그들은 Rule 110과 같은 튜링 완전(Turing-complete)한 토이 태스크(toy task)로 실험을 진행했으며, 문제의 근본 원인이 메모리 용량에 있지 않다는 것을 발견했습니다.

하이브리드(hybrid) 모델의 빠른 가중치(fast weights)는 정보를 저장할 수 있지만, 컨텍스트(context)를 실제로 사용 가능한 내부 표현(internal representation)으로 변환하려면 여러 번의 순전파(forward pass)를 통해 공고히 하는 과정이 필요합니다.

그들은 이 과정을 '잠(sleep)'이라고 부릅니다.

KV 캐시(KV cache)를 비우기 전에 모델이 현재의 컨텍스트(context)에 대해 여러 번의 순전파(forward pass)를 수행하게 하여, 기억이 빠른 가중치(fast weights)에 서서히 침전되도록 만드는 것입니다.

예측(prediction) 시에는 여전히 단일 순전파(single forward pass)를 사용하므로 지연 시간(latency)은 거의 변하지 않습니다.

그 결과, 다단계 추론(multi-hop reasoning) 작업에서 정확도가 무려 52%나 상승했습니다.

동일한 소형 모델, 동일한 토큰(token) 예산 하에서 단지 오프라인 정리 시간만을 조금 더 부여했을 뿐입니다.

이는 현재 업계에서 컨텍스트 창(context window)을 미친 듯이 늘리거나 테스트 시간 연산(test-time compute)을 도입하는 것과는 완전히 다른 방향입니다.

o1처럼 답변할 때 몇 초 더 생각하게 하는 방식은 사용자가 기다려야 합니다.

반면 '잠(sleep)' 방식은 컨텍스트(context)를 읽는 틈 사이에 더 많은 연산을 수행하므로, 사용자는 아무것도 느끼지 못하면서도 더 신뢰할 수 있는 답을 얻게 됩니다.

뇌는 사실 이미 이렇게 작동하고 있습니다.

낮에는 해마(hippocampus)가 빠르게 저장하고, 밤에 잠을 자는 동안 서파 수면(slow-wave sleep)을 통해 기억을 새로운 피질(neocortex)로 재생(replay)합니다.

진화가 외부 세계에 반응하지 않는 시간 1/3을 남겨둔 이유는 바로 인지(cognition)를 더 깊게 만들기 위해서입니다.

우리는 지능이란 항상 켜져 있고(always-on), 단번에 정답을 맞히는 것이라고만 생각해 왔습니다.

하지만 가장 강력한 지능은 아마도 깨어 있는 시간과 잠자는 시간의 리듬을 필요로 할지도 모릅니다.