Critic-free 그룹 기반 강화학습 (Reinforcement Learning)은 대규모 언어 모델 (Large Language Models)의 사후 학습 (Post-training)을 위한 확장 가능한 접근 방식이 되었습니다. 그러나 기존의 대부분의 방법은 일부 롤아웃 (Rollouts)이 다른 롤아웃보다 훨씬 더 유용한 학습 신호를 제공함에도 불구하고, 모든 태스크와 궤적 상태 (Trajectory state)에 동일한 수의 롤아웃을 할당합니다. 최근 연구들은 롤아웃 생성을 적응형 결정 (Adaptive decision)으로 다루기 시작했지만, 두 가지 중요한 한계가 남아 있습니다. 첫째, 개입 (Intervention) 전략은 종종 고정된 휴리스틱 (Heuristics)에 기반하므로 훈련 중에 정책 (Policy)이 변화함에 따라 조정될 수 없습니다. 둘째, 이러한 방법들은 대개 어디서 어떻게 개입할지를 명시적으로 제어하지 않고, 단지 얼마나 많은 롤아웃을 생성할지만 결정합니다. 이러한 한계를 해결하기 위해, 우리는 각 개입을 통해 생성된 개선 사항을 기반으로 롤아웃을 생성하는 방법을 학습하는 훈련 시간 프레임워크인 RAIL (Recoverability-Aware Intervention Learning)을 제안합니다. RAIL은 개입 선택을 온라인 컨텍스츄얼 밴딧 (Online contextual-bandit) 문제로 모델링하며, shadow-to-live 절차를 통해 수집된 개입 흔적 (Intervention traces)을 사용하여 회복 가능성 컨트롤러 (Recoverability controller)를 훈련합니다. 이를 통해 컨트롤러는 기본 정책이 진화하는 동안에도 지속적으로 학습할 수 있습니다. 우리는 효과성, 적응성, 표현력 및 효율성 측면에서 RAIL을 평가합니다. 다양한 설정에 걸쳐, RAIL은 제한된 롤아웃 예산 하에서 일관되게 성능을 향상시킵니다. 이러한 결과는 회복 가능성을 고려한 개입이 더 정보가 많고 중복이 적은 롤아웃을 생성하는 원칙적인 방법을 제공하며, 사후 학습 동안 더 강력한 학습 신호로 이어진다는 것을 보여줍니다.