CompactionRL: 장기적 목표 수행 에이전트를 위한 컨텍스트 압축 기반 강화학습 (Reinforcement Learning)

요약

장기적 목표를 수행하는 에이전트형 LLM의 컨텍스트 제한 문제를 해결하기 위해 컨텍스트 압축을 강화학습에 통합한 CompactionRL을 제안합니다. 토큰 수준 손실 정규화와 교차 궤적 일반화 어드밴티지 추정을 통해 작업 실행과 요약 생성을 동시에 최적화합니다.

핵심 포인트

• 컨텍스트 압축을 강화학습(RL)에 통합하여 장기적 목표 수행 능력 향상
• 토큰 수준 손실 정규화 및 교차 궤적 일반화 어드밴티지 추정 기술 적용
• SWE-bench Verified 및 Terminal-Bench 2.0에서 유의미한 성능 향상 입증
• 오픈 GLM 모델 시리즈의 성능 최적화를 위한 RL 파이프라인으로 활용