Step Rejection Fine-Tuning: 실용적인 증류 레시피

요약

본 기사는 LLM 에이전트 훈련의 표준 방법인 Rejection Fine-Tuning (RFT)의 한계를 지적하고, 이를 개선한 Step Rejection Fine-Tuning (SRFT)을 제안합니다. RFT는 실패한 전체 궤적을 폐기하는 반면, SRFT는 크리틱 LLM을 사용하여 궤적의 개별 단계(step)가 정확한지 평가합니다. 이 방법을 통해 모델은 오류를 재현하지 않으면서도 오류로부터 회복하는 능력을 학습하며, SWE-bench Verified 테스트에서 RFT보다 더 높은 해결률 향상(3.7% vs 2.4%)을 보여주었습니다.

핵심 포인트

• Rejection Fine-Tuning (RFT)은 실패한 전체 궤적을 폐기하는 표준 방법이지만, 중요한 정보 손실이 발생할 수 있습니다.
• Step Rejection Fine-Tuning (SRFT)은 크리틱 LLM을 활용하여 궤적의 개별 단계(step) 오류만을 식별하고 학습 과정에서 해당 단계의 손실만 마스킹합니다.
• SRFT는 모델이 오류를 완전히 폐기하는 대신, 오류로부터 회복하는 방법을 학습하도록 유도합니다.
• SWE-bench Verified 평가 결과, SRFT는 RFT보다 더 높은 해결률 향상(3.7% vs 2.4%)을 달성하여 총 해결률 32.2%를 기록했습니다.