Anthropic이 Claude에게 '꿈꾸게' 하는 방법을 공개하다: 동일한 35만 개 파일로 126번 더 자게 하자, 시험 점수가 13%에서

Anthropic이 Claude에게 '꿈꾸게' 하는 방법을 공개했습니다. 동일한 35만 개의 파일을 가지고 Claude를 126번 더 자게 했더니, 시험 점수가 13%에서 48%로 올랐습니다.

가장 놀라운 점은 Claude가 똑똑해진 이유가 단순히 데이터를 더 많이 먹여서가 아니라, 여유 시간에 자신이 기억한 것을 되돌아 정리하는 법을 배웠기 때문이라는 것입니다.

이 내용은 Anthropic이 11월 6일 엔지니어링 블로그에 올린 긴 글로, AI 에이전트(agent)의 메모리 작동 방식에 대해 설명하고 있습니다.

그들은 이 과정을 '꿈꾸기'(dreaming)라고 부릅니다.

아이디어는 인간의 뇌에서 가져왔습니다. 우리는 잠을 잘 때 뇌가 낮 동안 중요했던 경험들을 반복해서 재생하며, 이를 장기 기억으로 공고히 합니다.

Claude도 마찬가지입니다. 두 번의 작업을 하는 사이의 공백 시간에 자신의 작업 기록을 되돌아보며 오류를 수정하고, 노트를 보충하며, 산재된 정보를 하나의 지도처럼 정리합니다.

많은 사람들은 AI의 메모리는 저장하는 양이 많을수록 좋다고 생각합니다.

하지만 블로그에는 섬뜩할 정도로 신중하게 생각해봐야 할 예시가 있습니다. 잘못 기억한 것이 아무것도 기억하지 못하는 것보다 더 나쁠 수 있다는 것입니다.

Claude가 포켓몬(Pokémon)을 가지고 놀 때, 메모리에 중요한 장소를 잘못 기록했습니다.

그는 스스로에게 '월견산은 이미 내 뒤에 있다'고 말하고 방향을 틀어 아래 마을로 갔다가, 결국 다시 왔던 길로 돌아왔습니다.

이 잘못된 노트(기록)를 가지고 계속 산을 벗어나지 못했습니다.

한 번의 '꿈꾸기'(dreaming) 과정을 거친 후, Claude는 노트와 원본 기록을 하나하나 대조하며 스스로 오류를 발견하고 수정했습니다.

이번에는 '월견산 동굴 입구를 찾아 다시 들어가야겠다'고 말하며 몸을 돌려 산동굴로 돌아갔고, 마침내 다음 도시에 도착할 수 있었습니다.

더 심화된 실험이 두 번째입니다.

그들은 Stainless(Anthropic이 올해 5월 인수한 소프트웨어 회사)의 내부 자료를 사용했습니다. 약 35만 개의 파일, 4.2억 토큰(token) 분량이었으며, 이를 바탕으로 Claude에게 25개의 문제를 출제했습니다.

그리고 Opus 5가 이 파일을 반복적으로 '꿈꾸기'(dreaming) 과정을 거치며, 이 파일들을 상호 연결된 위키(wiki)로 정리하게 했습니다.

'꿈꾸기'의 횟수를 2라운드에서 128라운드로 늘렸을 뿐인데, 오직 이 위키만으로 문제를 풀자 점수가 13%에서 48%로 상승했습니다.

마치 신입사원과 같습니다. 입사 첫 주에는 모든 것을 물어봐야 하지만, 세 달 후에는 머릿속에 회사 지도가 그려지는 것과 같습니다.

위키와 검색을 함께 사용했을 때는 점수가 54%에서 61%로 상승했으며, 문제당 약 2만 개의 토큰을 절약할 수 있었습니다.

세 번째 실험이 가장 인상 깊었습니다.

처음에는 여러 에이전트가 동시에 공유된 표에 계약 조항들을 작성하면서 서로 덮어썼고, 원래의 핵심 사실 57개 중 최종적으로 남은 것은 41개뿐이었습니다.

나중에 Claude에게 스스로 실패 원인을 되돌아보고 규칙을 재작성하도록 시켰습니다. 즉, 각 계약서를 별도의 페이지로 만들고, 하나의 에이전트가 담당하게 했으며, 조항은 요약하지 않고 글자 그대로 인용하게 했습니다.

그 결과 57개 항목 전체를 보존할 수 있었고, 72%에서 100%로 향상되었습니다.

Claude Code를 사용하는 사람이라면 반드시 알아야 할 세부 사항이 있습니다:

그의 자동 메모리는 MEMORY.md 파일의 처음 200줄 또는 25KB만 로드합니다.

따라서 메모리의 최상위 부분은 작고 핵심적이어야 하며, '꿈꾸기' 작업의 상당 부분은 세부 내용을 아래로 이동시키고, 최상위 부분에는 인덱스(색인)만 남기는 것입니다.

이 글을 읽고 난 후 제가 가장 크게 느낀 점은 다음과 같습니다:

AI 메모리의 병목 현상은 결코 저장 공간 자체가 아니라 '정리'에 있다는 것입니다.

기억하는 것이 능사가 아닙니다. 여유 시간에 자신이 기억한 것을 반복적으로 대조하고, 오류를 수정하며, 하나의 지도로 압축할 수 있는 능력이 진정한 학습입니다.

인간도 마찬가지입니다.

(원문: Anthropic Engineering Blog《The components of agent memory》, 주소는 댓글 섹션👇🏻)