PITMuS: 소스 레벨 변이 재구성을 통한 자동 버그 데이터셋 생성 도구

LLM (Large Language Model) 기반 소프트웨어 공학은 실행 가능하고 문맥이 풍부한 버그 아티팩트(bug artifacts), 즉 올바른 코드와 버그가 있는 코드가 쌍을 이룬 형태, 테스트 대상 메서드 (MUTs, Methods Under Test), 문서 및 메타데이터에 점점 더 의존하고 있습니다. 이러한 아티팩트는 자동 버그 위치 식별 (Bug Localization) 및 수정 (Repair) 기술, 테스트 및 테스트 오라클 (Test Oracle) 생성 방법, 그리고 문서 기반 자동화의 학습과 평가를 지원합니다. 큐레이션된 벤치마크 (예: Defects4J)가 여전히 가치가 있기는 하지만, 코드 모델이 대규모 공개 코퍼스 (Corpora)로 학습됨에 따라 이러한 벤치마크는 정적이며 데이터 오염 (Contamination)에 점점 더 취약해지고 있습니다. 이를 보완하는 전략은 실제 시스템 버전을 선택하고 소스 레벨에서 제어된 버그를 주입함으로써, 최신 상태를 반영하고 컷오프 (Cutoff)를 고려한 데이터셋을 생성하는 것입니다. 변이 테스트 (Mutation Testing)는 이 전략의 자연스러운 기초가 됩니다. 변이 테스트는 프로그램에 사전 정의된 변이 연산자 (Mutation Operators)를 적용하고, 기존 테스트 스위트가 주입된 각 변경 사항을 탐지하는지 기록합니다. PIT는 바이트코드 (Bytecode) 레벨에서 변이를 수행하는 Java용 최신 변이 테스트 도구입니다. 이러한 설계는 변이 테스트를 빠르고 실용적으로 만들지만, PITMuS는 변이 결과를 주로 XML을 통해 보고하므로 이를 구조화된 소스 레벨 데이터셋 레코드로 검사, 재실행 또는 재사용하기 어렵게 만듭니다. 이러한 격차를 해소하기 위해, 우리는 PITMuS를 제시합니다. PITMuS는 PIT의 XML 메타데이터와 컴파일된 Java 클래스 파일의 디버그 정보를 결합하여 각 변이에 해당하는 소스 편집 사항을 위치 식별하고 재구성합니다. 그런 다음 PITMuS는 소스 레벨의 버그가 있는 코드와 수정된 코드 쌍, 문서 문맥, 그리고 다운스트림 (Downstream) 학습 및 평가를 위한 메타데이터를 포함하는 구조화된 데이터셋을 자동으로 생성합니다. 우리는 8개의 오픈 소스 Java 시스템에서 PITMuS를 평가했지만, PITMuS를 통합할 수 있는 모든 Java 시스템에 적용될 수 있습니다.