BoostAPR: 실행 기반 강화학습을 통한 자동 프로그램 복구 향상

요약

BoostAPR은 프로그램 복구를 위한 강화학습의 한계를 극복하기 위해 설계된 3단계 프레임워크입니다. 이 프레임워크는 지도 미세 조정을 통해 실행 검증 데모노스트레이션을 학습하고, 두 개의 보상 모델(시퀀스 레벨 평가자 및 라인 레벨 크레딧 할당기)을 훈련합니다. 특히, 라인 레벨 크레딧 할당기를 사용하여 코드 변경에 적합한 중간 수준의 세밀도로 보상을 재분배함으로써, 기존 강화학습 방식보다 훨씬 효과적으로 버그 수정 영역을 식별하고 프로그램 복구 성능을 크게 향상시킵니다.

핵심 포인트

• BoostAPR은 프로그램 복구를 위한 강화학습 문제를 해결하는 3단계 프레임워크입니다.
• 이 프레임워크는 지도 미세 조정(SFT)과 두 개의 보상 모델(Sequence-level 평가자 및 Line-level 크레딧 할당기)을 결합하여 사용합니다.
• 핵심 기여는 라인 레벨 크레딧 할당기를 통해 중간 수준의 세밀도에서 보상을 재분배하는 것입니다.
• BoostAPR은 SWE-bench Verified 등 네 가지 벤치마크에서 높은 성능(예: SWE-bench Verified에서 +22.9pp)을 보여 강력한 일반화 능력을 입증했습니다.