최종 토큰 선호 최적화(Final Token Preference Optimization)를 통한 둠 루프(Doom Loops) 감소

요약

추론 과정에서 모델이 동일한 문구를 반복하며 컨텍스트를 소진하는 '둠 루프(Doom Loops)' 현상을 분석합니다. 기존의 반복 페널티 방식이나 강화학습 기반 해결책의 한계를 지적하며 새로운 최적화 방향을 제시합니다.

핵심 포인트

• 추론 모델의 반복적 퇴화 현상인 '둠 루프' 정의
• 소규모 추론 모델이 긴 사고 과정에서 루핑에 더 취약함
• 기존 반복 페널티 방식의 성능 저하 문제 지적
• 강화학습 기반 해결책의 높은 비용과 복잡성 언급