AI가 갑자기 잊어버리거나 대충 대답하는 정체, /context로 실측하여 해결한 이야기

AI와 길게 대화하다 보면 처음의 지시를 갑자기 잊어버린다. 긴 문서를 붙여넣으면 답변이 성의 없어지기도 한다. 그 "갑자기 바보가 된" 듯한 느낌의 정체를 /context로 실측하고, 대처법까지 정리했다.

먼저 그림 하나를 보여주겠다. AI는 단 하나의 책상 위에서만 생각하고 있다. 책상의 넓이는 정해져 있으며, 가득 차면 오래된 종이부터 바닥으로 떨어진다. 떨어지는 것은 대개 대화 초반부이므로, 대화가 길어질수록 처음의 지시를 잊게 된다. AI가 "잊은" 것이 아니라 "책상에서 떨어뜨린" 것이다.

이 기사는 Claude Code의 /context (현재 책상 위의 내용물을 보여주는 명령어)로 자신의 환경을 실측한 결과를 바탕으로 하고 있다. 숫자는 필자의 특정 작업 세션 값이며, 환경이나 모델에 따라 달라진다. 자신의 책상은 스스로 측정하는 것이 확실하다.

실제로 실행한 결과의 요점은 다음과 같았다 (Opus 4.8 / 1M window).

246.8k / 1M tokens (25%)
System prompt: 3.9k
System tools: 16k
...

읽을 때 주목해야 할 점은 무엇이 책상을 채우고 있는가이다. 책상의 주범은 대화(Messages)였다. 219.6k로 전체의 22%를 차지했다. 연결된 도구(Tools)나 복잡한 설정 때문이 아니라, 대화가 길어지는 것 자체가 종이를 늘리고 있었다.

의외였던 부분은 여기다. MCP 도구는 866 토큰밖에 올라와 있지 않았다. 서버를 여러 개 연결하여 사용할 수 있는 도구 리스트가 화면에 다 담기지 않을 정도임에도 말이다.

이유는 도구가 온디맨드(On-demand) 방식으로 로드되었기 때문이다. 연결되어 있더라도 사용할 때까지 설명서를 책상에 펼쳐놓지 않는 구조다. 다만 이는 구성에 따라 다르며, 모든 도구의 설명서를 처음부터 책상에 펼쳐놓는 로드 방식도 있다. 그 경우에는 연결한 만큼 정직하게 책상이 좁아진다. "연결하면 차지한다/차지하지 않는다"는 일률적으로 말할 수 없으므로, 자신의 /context로 확인해 보길 권한다.

대화를 시작하기 전부터 책상에 있는 고정분도 보인다. 시스템 프롬프트(System prompt) 3.9k, 내장 도구(Built-in tools) 16k, 메모리(Memory) 4.3k, 스킬(Skill) 2.1k. 합쳐서 약 27k가 한 글자도 입력하기 전에 놓여 있었다. 가장 큰 것은 내장 도구의 16k이다.

메모리의 내용을 보면 프로젝트별 CLAUDE.md가 들어 있었다. 필자의 경우 개발 중인 플러그인의 CLAUDE.md가 3.6k였다. 매번 이 인수인계 사항을 책상에 올려두고 있는 셈이다. 편리한 기능도 책상의 면적을 사용한다는 당연한 사실이 숫자로 보인다.

그림이 그려지면 대처법은 단순하다.

• 이상해지면 새로운 대화로 책상을 정리한다. 이것이 가장 효과적이다. 중요한 전제 조건만 새로운 책상으로 옮긴다.
• 긴 자료는 통째로 붙여넣지 말고 요점만 전달한다. 책상에 펼칠 종이를 작게 만든다.
• 지켜줬으면 하는 지시는 대화 종반부에 다시 한번 말한다. 초반의 종이는 책상 구석에서 떨어지기 직전이다.
• 도구의 로드 방식을 /context로 확인한다. 온디맨드 방식이라면 너무 많이 연결해도 괜찮고, 전체 로드 방식이라면 사용하지 않는 도구는 제외한다.

"메모리(Memory)" 기능은 책상과는 별개의 서랍이다. 필요할 때 책상으로 꺼내 오는 구조이며, 책상 자체가 넓어지지는 않는다. 다만 꺼낸 종이도 책상의 면적을 사용한다는 점은 같다.

AI는 하나의 책상에서 생각하며, 그 넓이는 정해져 있다. 가득 차면 오래된 종이부터 떨어진다. "잊은" 것이 아니라 "책상에서 떨어진" 것이다. 그리고 직접 측정해 보니 책상을 채우는 주범은 대화 그 자체였다. 도구나 설정이 아니라, 길게 대화하는 것 자체가 종이를 늘린다. 다음에 책상이 무거워지면 우선 대화를 정리하는 것부터 생각한다. 측정하지 않으면 책상의 어디가 채워져 있는지 의외로 알 수 없으므로, /context를 한 번 실행해 보는 것을 추천한다.