SpecCompact: 슬롯 병렬 의미 추측 검증을 통한 LLM 에이전트 컨텍스트 압축 가속화

요약

SpecCompact는 LLM 에이전트의 긴 상호작용 기록 관리를 위한 컨텍스트 압축 가속화 프레임워크입니다. 이 방법은 슬롯 병렬 의미 추측을 활용하여 작은 드래프터로 여러 요약 슬롯을 동시에 생성하고, 타겟 모델이 이를 검증하며 과정을 최적화합니다. AppWorld 및 $\tau^3$ 벤치마크에서 기존 방식 대비 높은 압축 속도 향상을 입증했습니다.

핵심 포인트

• SpecCompact는 슬롯 병렬 의미 추측을 통해 컨텍스트 압축 지연 시간을 줄입니다.
• 작은 드래프터와 타겟 모델의 검증 과정을 거쳐 효율성을 높였습니다.
• AppWorld 및 $\tau^3$ 벤치마크에서 높은 속도 향상(최대 5.63배)을 달성했습니다.
• 사용자 연구에서는 추가적으로 중앙값 8.68배의 압축 속도 개선이 확인되었습니다.