ReflectRL: Golden Negative Trajectories를 통한 성찰적-직접 추론(Reflective-to-Direct

요약

ReflectRL은 전문가 모델의 실패 사례인 '골든 네거티브 궤적'을 활용하여 LLM의 추론 능력을 향상시키는 새로운 온폴리시 학습 프레임워크입니다. 결함이 있는 궤적을 성찰하여 학습한 뒤 이를 직접 추론으로 전이함으로써, 어려운 문제에서도 효율적인 성능 향상을 이끌어냅니다.

핵심 포인트

• 실패한 전문가 궤적을 '골든 네거티브 궤적'으로 정의하여 학습 신호로 활용
• 성찰적 추론을 통해 결함이 있는 궤적에서 유의미한 학습 정보를 추출
• 성찰적-직접 정책 전환을 통해 습득된 능력을 직접 추론으로 전이
• 최소한의 오버헤드로 다양한 LLM 백본과 벤치마크에서 성능 향상 입증