Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 사후 학습 시 효율적인 롤아웃 생성을 위해 개입 시점을 최적화하는 RAIL 프레임워크를 제안합니다. 기존의 고정된 휴리스틱 방식 대신, 온라인 컨텍스츄얼 밴딧을 활용해 정책 변화에 따라 적응적으로 개입 지점을 결정합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기Critic-free 그룹 기반 강화학습 (Reinforcement Learning)은 대규모 언어 모델 (Large Language Models)의 사후 학습 (Post-training)을 위한 확장 가능한 접근 방식이 되었습니다. 그러나 기존의 대부분의 방법은 일부 롤아웃 (Rollouts)이 다른 롤아웃보다 훨씬 더 유용한 학습 신호를 제공함에도 불구하고, 모든 태스크와 궤적 상태 (Trajectory state)에 동일한 수의 롤아웃을 할당합니다. 최근 연구들은 롤아웃 생성을 적응형 결정 (Adaptive decision)으로 다루기 시작했지만, 두 가지 중요한 한계가 남아 있습니다. 첫째, 개입 (Intervention) 전략은 종종 고정된 휴리스틱 (Heuristics)에 기반하므로 훈련 중에 정책 (Policy)이 변화함에 따라 조정될 수 없습니다. 둘째, 이러한 방법들은 대개 어디서 어떻게 개입할지를 명시적으로 제어하지 않고, 단지 얼마나 많은 롤아웃을 생성할지만 결정합니다. 이러한 한계를 해결하기 위해, 우리는 각 개입을 통해 생성된 개선 사항을 기반으로 롤아웃을 생성하는 방법을 학습하는 훈련 시간 프레임워크인 RAIL (Recoverability-Aware Intervention Learning)을 제안합니다. RAIL은 개입 선택을 온라인 컨텍스츄얼 밴딧 (Online contextual-bandit) 문제로 모델링하며, shadow-to-live 절차를 통해 수집된 개입 흔적 (Intervention traces)을 사용하여 회복 가능성 컨트롤러 (Recoverability controller)를 훈련합니다. 이를 통해 컨트롤러는 기본 정책이 진화하는 동안에도 지속적으로 학습할 수 있습니다. 우리는 효과성, 적응성, 표현력 및 효율성 측면에서 RAIL을 평가합니다. 다양한 설정에 걸쳐, RAIL은 제한된 롤아웃 예산 하에서 일관되게 성능을 향상시킵니다. 이러한 결과는 회복 가능성을 고려한 개입이 더 정보가 많고 중복이 적은 롤아웃을 생성하는 원칙적인 방법을 제공하며, 사후 학습 동안 더 강력한 학습 신호로 이어진다는 것을 보여줍니다.