장기적 목표를 수행하는 에이전트형 LLM (Long-horizon agentic LLMs)은 확장된 상호작용 궤적(interaction trajectories)이 작업이 완료되기 전에 최대 컨텍스트 길이를 초과할 수 있기 때문에, 유한한 컨텍스트 창(context windows)에 의해 점점 더 제한을 받고 있습니다. 컨텍스트 압축 (Context compaction)은 이전의 상호작용 상태를 요약하고 압축된 컨텍스트 하에서 롤아웃 (rollout)을 계속함으로써 자연스러운 해결책을 제공하지만, 강화학습 (Reinforcement Learning, RL)에 압축을 통합하는 연구는 여전히 미흡한 상태입니다. 우리는 컨텍스트 압축을 사용하여 장기적 목표 수행 에이전트형 LLM을 훈련하는 강화학습 전략인 CompactionRL을 제안합니다. 우리의 접근 방식은 토큰 수준 손실 정규화 (token-level loss normalization) 및 교차 궤적 일반화 어드밴티지 추정 (cross-trajectory generalized advantage estimation)을 통해 작업 실행과 요약 생성을 공동으로 최적화합니다. 이러한 설계는 LLM 에이전트가 압축된 장기 궤적으로부터 학습할 수 있게 합니다. 우리는 오픈 모델을 기반으로 CompactionRL을 훈련하였으며, 에이전트형 코딩 작업에서 일관된 성능 향상을 관찰했습니다. CompactionRL은 오픈 GLM-4.5-Air 모델 (106B-A30B)이 SWE-bench Verified에서 66.8%, Terminal-Bench 2.0에서 24.5%의 Pass@1 점수를 달성하도록 하며, 이는 각각 7.0 및 3.1 포인트의 절대적 향상입니다. GLM-4.7-Flash (30B-A3B)를 기반으로 구축된 CompactionRL은 Pass@1을 각각 5.5 및 6.8 포인트 향상시켜, SWE-bench Verified에서 56.0%, Terminal-Bench 2.0에서 20.2%에 도달했습니다. 따라서 CompactionRL은 오픈 GLM-5.2 모델 (750B-A40B)을 훈련하기 위한 RL 파이프라인에 배포되었습니다.