해결하지 말고 유도하라: 대규모 코드 에이전트를 위한 소형 비평(Critic) 모델 학습

요약

코드 에이전트의 전략적 추론 능력을 향상시키기 위해 궤적 내부 피드백을 제공하는 소형 비평(Critic) 모델 학습법을 제안합니다. 이 방식은 기존 사후 평가 방식과 달리 에이전트를 유도하며, 강력한 교사 모델 대비 훨씬 저렴한 비용으로 성능을 높일 수 있습니다.

핵심 포인트

• 에이전트 동결 후 궤적 내 피드백을 제공하는 소형 비평 모델 활용
• SWE-bench Verified에서 에이전트 성능의 유의미한 향상 입증
• 강력한 교사 모델 대비 30~92배 저렴한 비용 효율성
• 궤적 길이를 단축시켜 정확도와 비용 효율성을 동시에 개선