반사실적 롤아웃 리플레이: 소프트웨어 엔지니어링 에이전트를 위한 분기 가능한 환경을 무료 과정 보상으로 활용

결과(Outcome)-전용 강화학습은 소프트웨어 엔지니어링(SWE) 에이전트에게 최종 성공 신호는 제공하지만, 중간 결정에 대한 직접적인 지침은 거의 제공하지 못합니다. 우리는 분기 가능한 실행 환경을 사용하여 단계별 리턴 대비를 얻는 훈련 시간 절차인 Counterfactual Rollout Replay (CRR)를 소개합니다. CRR은 소수의 결정 지점을 선택하고, 각 상태를 복원하며, 대안적인 행동을 샘플링하고, 정책 하에서 해당 브랜치를 전진합니다. 이는 실현된 훈련 궤적을 유지하고, 선택된 단계의 어드밴티지(advantage)를 최종 리턴과 샘플링된 반사실적 리턴 간의 차이로 대체합니다. 이 방법은 인간의 과정 레이블이나 학습된 과정 보상 모델이 필요하지 않습니다. 여기서 '무료(free)'는 재현(replay) 컴퓨팅 비용이 아닌, 감독(supervision) 비용을 의미합니다. 14B 정책으로 CRR은 SWE-bench Verified, SWE-bench Live, 그리고 SWE-rebench에서 pass@1 성능을 향상시키며, 과정 보상 및 궤적 검색 방법과 결합됩니다. SWE-bench Verified의 경우, 동일한 하드웨어에서 동등한 벽시계 시간 비교를 통해 확장된 결과 전용 GRPO(GRPO)가 36.7%인 것에 비해 41.7%를 달성하여, 분기 오버헤드를 포함하더라도 5.0포인트의 이득을 얻었습니다. 이러한 결과는 비용 효율적이고 신뢰할 수 있는 상태 복원이 가능한 환경에 적용되며, 확률론적 연속(stochastic continuations)과 비용이 많이 들거나 불완전한 리플레이가 여전히 한계로 남아 있습니다.