DiffTestGen: 행동 차이 노출을 위한 변경 지향형 LLM 기반 테스트

요약

본 논문은 코드 변경으로 인해 발생하는 행동 차이를 효과적으로 노출시키는 새로운 LLM 기반의 차분 테스트 접근 방식인 DiffTestGen을 제안합니다. DiffTestGen은 정적 호출 그래프 분석과 프로젝트 문서를 활용하여 유효한 진입점을 식별하고, '합집합 커버리지' 메트릭으로 반복적인 피드백을 제공합니다. 평가 결과, 기존 방법보다 훨씬 높은 비율로 행동 차이를 노출시키고 코드 커버리지를 크게 향상시켰습니다.

핵심 포인트

• DiffTestGen은 변경 지향형 LLM 기반의 차분 테스트 접근 방식입니다.
• 정적 호출 그래프 분석과 문서를 활용해 유효한 진입점을 식별합니다.
• 새로운 '합집합 커버리지' 메트릭으로 반복적인 개선을 수행합니다.
• 기존 방법 대비 행동 차이 노출률 및 코드 커버리지를 크게 향상시켰습니다.