코딩 에이전트의 명세 만족성 부족(Specification Satisficing) 도출 및 완화

요약

본 논문은 코딩 에이전트가 모든 요구사항을 충족하지 못하는 '명세 만족성 부족(specification satisficing)' 문제를 다룹니다. 이를 해결하기 위해, 에이전트가 자신의 선택지와 그 이유를 보고하도록 안내하고 작업 설명과 비교 검증하는 SatisFix를 제안합니다. DeepSWE 및 SWE-bench Pro 평가 결과, SatisFix는 기본 에이전트 대비 성능 향상을 입증했습니다.

핵심 포인트

• 코딩 에이전트의 '명세 만족성 부족' 현상 정의 및 문제점 제시
• SatisFix를 통해 선택지 보고와 작업 설명 기반 검증 프로세스 도입
• DeepSWE에서 기본 에이전트 대비 pass@1 평균 5.09% 향상 입증
• 제거 연구(ablation study)를 통해 SatisFix의 두 단계 모두 개선에 기여함을 확인