PEEK: 긴 문맥(Long-Context) LLM 에이전트를 위한 방향성 캐시로서의 문맥 맵 (Context Map)

요약

PEEK는 긴 문맥을 가진 LLM 에이전트가 외부 문맥에 대한 방향성 지식을 효율적으로 재사용할 수 있도록 돕는 '문맥 맵(Context Map)' 시스템입니다. 이 시스템은 증류기, 지도 제작자, 제거기라는 세 가지 모듈을 통해 문맥 정보를 구조화된 캐시로 유지하며, 반복적인 작업에서 비용을 절감하고 성능을 향상시킵니다. 실험 결과, PEEK는 기존 프레임워크 대비 반복 횟수와 비용을 크게 줄이면서도 높은 정확도를 보여주었습니다.

핵심 포인트

• 문맥 맵(Context Map)은 에이전트가 외부 문맥의 구성, 엔티티, 스키마 등의 방향성 지식을 보존할 수 있게 하는 작은 크기의 산출물입니다.
• PEEK 시스템은 지식 추출을 위한 Distiller, 구조화된 편집을 위한 Cartographer, 토큰 예산 관리를 위한 Evictor의 세 가지 모듈로 구성됩니다.
• 긴 문맥 추론 작업에서 기존 ACE 프레임워크 대비 비용을 1.7~5.8배 낮추고 성능을 최대 34% 향상시켰습니다.
• OpenAI Codex를 포함한 다양한 언어 모델과 에이전트 아키텍처에서 범용적으로 적용 가능한 성능을 입증했습니다.