장시간 작동하는 AI 에이전트를 한 번이라도 운용한 적이 있다면, 이 벽에 부딪혀 보았을 것이다. 도구 호출(Tool calling)과 사고 로그(Thought log)가 끊임없이 쌓여 결국 컨텍스트 윈도우(Context window)가 넘쳐버린다. 수십 단계 전에 단 한 번 보았던 디렉토리 목록이나, 이미 해결된 서브 과제의 디버그 출력(Debug output)이 언제까지나 문맥에 자리 잡고 공간을 차지한다.

현장에서의 전형적인 대처법은 '요약 (Compaction)'이다. Claude Code의 자동 컴팩션(Automatic compaction)처럼, 이력이 일정량에 도달하거나 혹은 몇 단계마다 지금까지의 경위를 짧은 요약으로 접어서 대체하는 방식이다. 하지만 이 '일정한 간격으로 접는다'는 발상 자체에 함정이 있다. Johns Hopkins 대학교 연구팀이 6월 22일에 공개한 논문 Self-Compacting Language Model Agents는 바로 그 지점을 찌르고 있다.

왜 '정해진 간격으로 요약'하는 것이 서툰가

고정 간격 요약은 요약해야 할 순간을 놓친다. 긴 수식 변형의 도중(mid-derivation)이나, 정답을 찾지 못해 시행착오를 겪고 있는 와중에 스케줄이 돌아오면, 아직 버려서는 안 될 작업 메모리(Working memory)를 지워버린다. 반대로 서브 과제가 해결되어 명백히 다음으로 넘어가도 좋은 국면임에도, 간격이 돌아올 때까지 비대해진 이력을 계속 끌고 간다. 요컨대, 타이밍의 좋고 나쁨을 캘린더가 결정할 뿐, 작업의 내용을 보고 있지 않다는 것이다.

저자들은 여기에 '메타인지의 격차(Meta-cognitive gap)'가 있다고 지적한다. 아무런 힌트를 주지 않으면, 모델은 자신의 문맥이 열화되어 요약이 필요해진 순간을 스스로 확실히 판단할 수 없다. 내버려 두면 접어야 할 때 접지 않는다. 하지만 판단의 척도만 전달해 준다면 이야기는 달라진다는 것이 이 논문의 핵심이다.

SelfCompact: 모델에게 '적절한 타이밍'을 판정하게 하다

제안 기법인 SelfCompact는 추가 학습을 전혀 수행하지 않는다. 추론 시에 두 가지 부품을 조합할 뿐이다.

하나는 모델이 스스로 호출할 수 있는 컴팩션용 도구(Compaction tool). 다른 하나는 언제 발화시키고 언제 참을지를 나타내는 짧은 **루브릭(Rubric, 판단 기준)**이다. 논문에 따르면, 발화(COMPRESS)하는 것은 '서브 과제가 해결되었을 때' 또는 '궤도가 수렴하고 있을 때'라고 판단했을 때뿐이다. 반대로 '막혀 있거나', '변형 도중'일 때는 억제하여, 필요한 작업 메모리를 너무 이른 타이밍에 지우지 않도록 한다.

비유를 하나 들자면 책상 정리와 비슷하다. 정기 청소 업체가 시간이 되면 문답무용으로 서류를 파일에 철해버리는 것이 고정 간격 방식이다. 반면 SelfCompact는 작업 중인 본인이 '이 건은 정리됐다'고 느낀 순간에만 자신의 판단으로 책상 위를 정리한다. 손을 멈추고 고민하고 있는 중에는 정리하지 않는다.

접는 방식도 솔직하다. 요약이 발화하면 에이전트는 그때까지의 생(raw) 궤적 (x, y₁:t)을 그대로 이어받는 것이 아니라, 요약된 서문 (x, ỹ)으로부터 다음을 진행한다. 즉, 긴 이력을 짧은 요약으로 대체하고 거기서부터 다시 시작하는 것이다. 메커니즘 자체는 기존의 컴팩션과 같지만, 새로운 점은 '대체하는 내용'이 아니라 '대체하는 순간의 선택 방식'에 있다. 이 부분이 기존 방식과의 차이점이다.

얼마나 효과적인가

검증은 경시대회 수학(IMO-Answerbench 등)과 에이전트형 검색(BrowseComp-Plus 등)을 아우르는 6개의 벤치마크, 7개의 모델을 대상으로 수행되었다. 수치는 대체로 다음과 같다.

읽는 법은 이렇다. 우선 요약을 현명하게 끼워 넣는 것 자체가 정확도를 높인다(요약 없음 대비 수학은 최대 18.1점, 검색은 59점 상승). 긴 문맥을 떠안을수록 모델은 주의(Attention)가 분산되어 성능이 떨어지기 때문이다. 그 위에서 SelfCompact의 진정한 승부처는 고정 간격 방식과 동등하거나 그 이상의 정확도를, **문제당 37할이나 저렴한 토큰 비용으로** 낸다는 점에 있다. 불필요한 요약을 하지 않고 필요한 요약만 수행하기 때문에 당연히 비용이 낮아진다.

SelfCompact matches or exceeds fixed-interval summarization at a fraction of the token cost.

(SelfCompact는 고정 간격의 요약에, 아주 적은 토큰 비용으로 필적하거나 혹은 능가한다)

더 자세한 수치나 모델별 내역은 Hugging Face의 논문 페이지와 본문 PDF를 참조하기 바란다.

실무자로서 어떻게 받아들일 것인가

이 논문의 가치는 화려한 신규 모델이 아니라, "이미 존재하는 에이전트에 오늘부터 바로 적용할 수 있다"는 점에 있다. 추가 학습이 필요 없으며, 도구(Tool)와 몇 줄의 루브릭(Rubric)만으로 구성할 수 있기 때문이다. 따라서 자체 에이전트 루프(Agent Loop)에 압축용 도구를 하나 추가하고, 발화 조건 프롬프트를 "서브 태스크(Sub-task)가 완료되었거나 수렴했을 때만 압축하고, 교착 상태에 빠졌거나 유도 과정 중일 때는 압축하지 마라"라고 작성하기만 해도 그 철학을 재현할 수 있다. 논문은 그러한 프롬프트 설계와 스케줄링의 적절성을 실험을 통해 뒷받침해 주었다.

뒤집어 말하면, 많은 에이전트 기반 시스템이 채택하고 있는 "토큰 수 임계값에 따른 자동 압축"이라는 단순한 설계에는 여전히 개선의 여지가 남아 있다는 뜻이기도 하다. 임계값은 작업의 의미를 고려하지 않는다. 압축 여부에 대한 판단을 시계나 토큰 카운터가 아닌, 모델 자신의 상황 인식(Situation Awareness)에 맡긴다. 이러한 발상은 컨텍스트 엔지니어링(Context Engineering)의 차세대 표준이 될 것이라는 느낌을 준다.

한 가지 유의할 점은 있다. 루브릭이 기능하려면 모델이 "지금 이 서브 태스크가 해결되었는가"를 어느 정도 정확하게 스스로 보고할 수 있는 능력이 있다는 전제가 필요하다. 논문에서 지적한 "메타인지의 격차(Meta-cognitive gap)\