MuMuTestUp: 변이 기반 멀티 에이전트 테스트 케이스 업데이트

요약

MuMuTestUp은 코드 변경 시 발생하는 테스트 케이스의 무효화 문제를 해결하기 위해 제안된 변이 유도형 멀티 에이전트 프레임워크입니다. Mutation Analysis, Coverage Analysis, Semantic Retrieval이라는 세 가지 전문 에이전트를 통해 테스트 어설션 강화, 정밀한 커버리지 개선, 환각 현상 방지를 동시에 달성합니다. 연구팀은 이를 검증하기 위해 571개의 샘플로 구성된 PRBENCH 데이터셋을 구축하고 Deepseek-V3.2 및 GPT-4.1을 통해 성능을 입증했습니다.

핵심 포인트

• 기존 LLM 기반 테스트 업데이트 방식의 한계인 어설션 부적절성, 낮은 커버리지 정밀도, 검색 환각 문제를 해결함
• 변이 분석을 통해 생존한 변이체를 기반으로 테스트 어설션을 강화하는 메커니즘 도입
• 정확 일치 검색 대신 의미론적 유사도 검색(Semantic Retrieval)을 사용하여 LLM의 환각 문제 완화
• 교차 커밋 업데이트 시나리오 검증을 위한 오픈 소스 Java 프로젝트 기반 PRBENCH 데이터셋 구축