TestGRAD: 실패 패턴 모멘텀을 통한 테스트 스위트 진화 기법으로 SWE-Agent 앙상블 개선

SWE-agent 앙상블은 서로 보완적인 강점을 가진 여러 에이전트의 후보 패치를 결합하여 이슈 해결 능력을 향상시킵니다. 따라서 핵심 문제는 테스트 기반 선택(test-based selection)입니다. 즉, 테스트를 생성하고, 후보 패치를 실행하며, 최적의 패치를 식별하는 것입니다. 우리는 이 과정을 테스트 공간 최적화(test-space optimization)로 공식화했습니다. 이는 경쟁하는 패치들을 구별할 수 있을 때까지 실행 가능한 저장소 테스트 스위트를 진화시키는 것을 의미합니다. 기존의 테스트 생성 방법들은 제한적인 최적화기입니다. 이들은 일반적으로 앙상블 선택을 위한 명시적인 손실(loss) 함수가 부족하며, 주로 새로운 테스트를 만들거나 오래된 테스트를 삭제하는 불완전한 방향으로 최적화하고, 반복되는 실패로부터의 피드백 없이 일회성 생성을 수행합니다. 모멘텀이 적용된 경사 하강법(gradient descent with momentum)에서 영감을 받아, 우리는 자동 테스트 최적화를 위한 프레임워크인 TestGRAD를 소개합니다. TestGRAD는 세 가지 개념을 중심으로 합니다. 차분 손실(Differential loss)은 최적화기에게 명시적인 실행 정의 목표를 제공합니다: 유용한 테스트는 후보 패치들을 동작으로 분리해야 합니다. 전체 CRUD 경사(Full CRUD gradients)는 업데이트 방향을 단순히 테스트 생성이나 삭제에 국한하지 않고, 기존 테스트 인프라 읽기, 새로운 테스트 생성, 오래된 단언문(assertion) 업데이트, 그리고 불필요해진 테스트만 삭제하는 것으로 확장합니다. 실패 패턴 모멘텀(Failure Pattern Momentum)은 메모리에서 빈번하게 발생하는 실패 시퀀스를 채굴하여, 최적화기가 반복적인 비구별적 방향을 피할 수 있게 하며 동시에 실패 이력 컨텍스트를 압축합니다. SWE-bench Verified 환경에서 TestGRAD는 4개 에이전트 앙상블로 Pass@1에서 84.2%를 달성하여, 가장 강력한 기준선(80.6%)보다 절대적으로 3.6 퍼센트 포인트 높은 성능을 보였으며, 실패 이력 컨텍스트는 $100 imes$ 이상 압축했습니다.