LLM을 활용하여 깨진 소스 코드-테스트 진화를 복구하는 주요 요소 탐색

요약

본 논문은 LLM을 활용한 소스 코드와 테스트의 공동 진화 환경에서 발생하는 테스트 복구에 대한 실증 연구를 제시합니다. 500개의 실제 Java 사례로 구성된 새로운 벤치마크를 구축했으며, 테스트 실패 증상, 소스 변경 사항, 컨텍스트 결합이 효과적임을 밝혀냈습니다. 이 결과를 Codex 에이전트에 적용하여 복구 성공률을 66.7% 향상시킬 수 있었습니다.

핵심 포인트

• 소스-테스트 공동 진화 환경에서 LLM의 테스트 복구에 대한 실증 연구를 제시함.
• 실패 증상, 소스 변경, 컨텍스트 결합이 효과적인 테스트 복구 요소임.
• LLM 추론 흔적을 분석하여 일반적인 추론 액션 분류 체계를 도출함.
• Codex 에이전트에 적용 시 까다로운 사례의 복구 성공률을 66.7% 향상시킴.