Step Rejection Fine-Tuning: 실용적인 증류 레시피

Rejection Fine-Tuning (RFT)은 LLM 에이전트를 훈련하는 표준 방법으로, 실패한 궤적(trajectory)을 학습 데이터셋에서 폐기합니다. SWE-bench 작업의 맥락에서는 제출된 패치가 테스트를 통과하지 못한 실행들을 필터링하는 것에 해당합니다. 하지만 이 접근 방식은 해결되지 않은 궤적들까지 폐기하는데, 이는 어려운 작업들의 모든 궤적 중 상당 부분을 차지하며 심지어 부분적으로는 올바른 경우도 많습니다. 본 연구에서는 이러한 해결되지 않은 궤적들을 활용할 수 있는 실용적인 방법인 Step Rejection Fine-Tuning (SRFT)을 제안합니다. 이를 위해 우리는 크리틱 LLM(critic LLM)을 사용하여 궤적의 각 단계(step)가 정확한지 평가합니다. 결과적으로, 훈련 중에는 오류가 있는 단계에 대한 손실(loss)은 마스킹하고 컨텍스트 창(context window)에는 유지합니다. 이러한 방식으로 모델이 오류를 재현하지 않으면서도 오류로부터 회복하는 법을 학습하도록 보장합니다. SWE-bench Verified에서 평가한 결과, RFT는 해결되지 않은 궤적들을 제외함으로써 해결률을 2.4% 향상시키는 반면, SRFT는 이를 완전히 폐기하는 대신 필터링함으로써 해결률을 3.7% 향상시켜 총 해결률 32.2%에 도달했습니다.