현대 소프트웨어 개발은 작고 목표가 명확한 코드 변경을 도입하는 풀 리퀘스트(PRs)에 의존합니다. 일단 병합된 후, 이러한 변경 사항들은 PR이 도입하는 동작을 활용하는 집중적인 테스트로 보호되어야 하지만, 개발자들은 종종 그러한 테스트 없이 PR을 제출하여 새로운 동작이 미래의 회귀(regression)에 대해 방어되지 않은 상태로 남겨지곤 합니다.
대부분의 테스트 생성 기법은 전체 소프트웨어 유닛을 대상으로 하며 코드 커버리지와 같은 목표를 최적화할 뿐, 변경 사항이 도입하는 '동작' 자체를 겨냥하지 못합니다. 또한 기존의 차분 인식(diff-aware) 접근 방식들은 이를 포착하는 데 제한적인 성공만을 거두었습니다.
우리는 ADAPT (Agentic Diff-Aware Patch Testing), 즉 PR을 위한 변화 중심 테스트를 생성하기 위해 자율 코딩 에이전트(autonomous coding agent)를 사용하는 회귀 테스트 생성 접근 방식을 제안합니다. 주어진 PR에 대해, 이 에이전트는 베이스 버전과 헤드 버전 간의 차분(diff)을 분석하여 수정된 함수와 그 컨텍스트를 식별하고, 이후 후보 단위 테스트(candidate unit tests)를 계획하고 생성합니다.
전용 실패-성공(fail-to-pass, F2P) 검증 도구가 각 후보 테스트를 두 버전 모두에서 실행하며, F2P 성공 후에는 어떤 실행 가능한 변경 라인이 여전히 커버되지 않았는지 보고합니다. 이 피드백에 의해 안내받아, 에이전트는 반복적으로 테스트를 개선해 나갑니다.
우리는 ADAPT를 이전 최첨단 기준선(state-of-the-art baseline)에서 사용된 동일한 426개의 실제 PR을 사용하여 GPT-4o 및 GPT-5-mini와 함께 평가했습니다. ADAPT+GPT-4o는 F2P 비율 62.0%(264/426)를 달성하여, BLAST가 보고한 35.4%(151/426)보다 높았으며, ADAPT+GPT-5-mini는 89.9%(383/426)에 도달했습니다.
Change And Cover (ChaCo)와 공유된 137개의 PR에서는 ADAPT가 PR의 83.9%에서 완전한 패치 커버리지(full patch coverage)를 달성하여, ChaCo의 79.6%보다 높았으며 시간과 비용은 훨씬 적게 들었습니다. 수동 평가 결과는 F2P 유효 테스트들이 각 PR이 의도하는 변경 사항을 겨냥하며, 중요도(importance)에서 평균 점수 최대 4.54/5점, 단언 강도(assertion strength)에서 4.35/5점, 가독성(readability)에서 4.49/5점을 기록하여, 종종 개발자가 작성한 테스트를 넘어선 동작까지 커버한다는 것을 확인했습니다.