대규모 언어 모델 (LLM) 에이전트는 문서 코퍼스(corpora)나 코드 저장소(repositories)와 같이 길고 반복되는 외부 문맥(external contexts) 위에서 점점 더 많이 작동하고 있습니다. 여러 번의 호출(invocations)에 걸쳐, 기존 방식들은 에이전트의 궤적(trajectory), 원시 자료에 대한 수동적 접근, 또는 작업 수준의 전략 중 하나만을 보존합니다. 하지만 이 중 어떤 것도 우리가 반복되는 동일 문맥 작업에 가장 필요하다고 주장하는 것, 즉 반복되는 문맥 자체에 대한 재사용 가능한 방향성 지식(orientation knowledge)(예: 문맥에 무엇이 포함되어 있는지, 어떻게 구성되어 있는지, 그리고 어떤 엔티티(entities), 상수(constants), 스키마(schemas)가 역사적으로 유용했는지 등)을 보존하지는 못합니다.

우리는 이러한 방향성 지식을 문맥 맵(context map)으로 캐싱하고 유지하는 시스템인 PEEK를 소개합니다. 문맥 맵은 에이전트의 프롬프트(prompt) 내에 존재하는 작고 일정한 크기의 산출물(artifact)로, 에이전트가 외부 문맥을 지속적으로 엿볼 수 있게(peek) 해줍니다. 이 맵은 세 가지 모듈을 가진 프로그래밍 가능한 캐시 정책(cache policy)에 의해 유지됩니다: 추론 시점의 신호(inference-time signals)로부터 전이 가능한 지식을 추출하는 증류기(Distiller), 이를 구조화된 편집(structured edits)으로 변환하는 지도 제작자(Cartographer), 그리고 고정된 토큰 예산을 강제하는 우선순위 기반의 제거기(Evictor)입니다.

긴 문맥 추론(long-context reasoning) 및 정보 집계(information aggregation) 작업에서, PEEK는 최첨단 프롬프트 학습 프레임워크인 ACE보다 93145회의 반복(iterations)을 덜 사용하고 비용을 1.75.8배 낮추면서도, 강력한 베이스라인(baselines) 대비 6.334.0%의 성능 향상을 보여주었습니다. 문맥 학습(context learning)에서는 ACE보다 1.4배 낮은 비용으로 해결률(solving rate)을 6.014.0%, 루브릭 정확도(rubric accuracy)를 7.8~12.1% 각각 향상시켰습니다. 이러한 이점은 프로덕션급 코딩 에이전트인 OpenAI Codex를 포함하여 다양한 언어 모델(LMs)과 에이전트 아키텍처 전반에 걸쳐 일반화됩니다. 종합적으로, 이러한 결과는 문맥 맵이 긴 문맥을 가진 LLM 에이전트가 반복되는 외부 문맥과 더 정확하고 효율적으로 상호작용하도록 돕는다는 것을 보여줍니다.