반복적인 퇴화 (Repetitive degeneration) [1]는 추론 (inference) 과정에서 흔히 발생하는 실패 모드입니다. 모델이 특정 구간(예: "잠시만요, 다시 생각해 볼게요...")을 생성한 뒤, 컨텍스트 창 (context window)이 소진될 때까지 동일한 구간을 계속해서 반복하는 현상입니다. 우리는 이 현상을 '둠 루프 (doom loop)'라고 부릅니다. 소규모 추론 모델 (Small reasoning models)은 특히 긴 사고 과정 (thinking traces)과 어려운 문제 [2]를 다룰 때 이러한 동작에 더 취약합니다.

일반적으로 적용되는 추론 시점의 해결책은 출력 분포 (output distribution)의 가중치를 재조정하기 위해 반복 페널티 (repetition_penalty)를 적용하는 것입니다. 하지만 이는 임시방편적인 해결책이며 성능을 저하시킬 수 있습니다. 강화학습 (Reinforcement learning)을 통해 반복적인 루핑을 목표로 삼을 수 있지만, 이는 일반적으로 정밀하게 조정된 보상 (rewards)과 비용이 많이 드는 온라인 롤아웃 (online rollouts)을 필요로 합니다.