PR 인지형 자동 단위 테스트 생성: 과제와 기회

자동 테스트 생성 (Automated test generation)에 관한 상당한 양의 연구가 존재하지만, 대부분의 연구는 클래스 (classes)와 같은 완전한 소프트웨어 단위에 대한 테스트를 생성하는 데 집중하며, 평가를 위해 코드 커버리지 (code coverage)와 같은 지표에 의존합니다. 이와 대조적으로, 현대의 소프트웨어 개발은 주로 풀 리퀘스트 (pull requests, PRs)를 통해 도입되는 작고 타겟팅된 변경 사항을 통해 진화합니다. 그럼에도 불구하고, 이러한 PR에 특화된 테스트를 생성하는 중요한 작업은 간과되어 왔으며, 이 목적을 위한 최첨단 도구들의 성능은 알려지지 않은 상태로 남아 있습니다. 본 연구는 PR 인지형 테스트 생성을 위한 두 가지 서로 다른 접근 방식인, 선도적인 탐색 기반 도구 (search-based tool)인 EvoSuite와 널리 사용되는 대규모 언어 모델 (Large Language Models, LLMs) 중 하나인 GPT-4o를 평가합니다. PR별 변경 사항을 검증하는 데 있어 이들의 효과를 측정하기 위해, 우리는 '실패 후 통과 (fail-to-pass, F2P)' 테스트 케이스 생성 능력을 평가합니다. 즉, 변경 전의 코드에서는 실패하고 변경 후의 코드에서는 통과하는 테스트를 의미합니다. 우리의 평가 결과, EvoSuite가 GPT-4o보다 뛰어난 성능을 보였으며, 훨씬 더 높은 비율의 PR에 대해 최소 하나 이상의 F2P 테스트를 생성했습니다 (36% 대 13%). GPT-4o의 성능은 높은 컴파일 에러 (compilation errors) 발생률 (63%)로 인해 크게 저해된 반면, EvoSuite가 생성한 테스트 중 실행에 실패한 경우는 2%에 불과했습니다. EvoSuite의 상대적인 성공에도 불구하고, 우리의 연구 결과는 두 도구 모두 이 작업에 있어 대체로 효과적이지 않음을 나타냅니다. 왜냐하면 대다수의 PR (64%)에 대해 의미 있는 변경 사항 포착 테스트 (change-capturing tests)를 전혀 생성하지 못했기 때문입니다. 우리의 평가에서 두 생성기 모두 높은 F2P 비율을 달성하지 못했고 EvoSuite가 GPT-4o보다 우수했지만, 우리는 에이전트 기반 코드 생성 (agentic code generation) 방식이 이 작업에 상당한 잠재력을 가질 수 있다고 믿습니다. 궁극적으로, 우리의 연구는 도구 측면의 결정적인 공백을 강조하며, 현대 소프트웨어 개발의 점진적 특성 (incremental nature)에 맞춤화된 고성능 테스트 생성기의 개발을 촉구합니다.