블랙박스 테스트 스위트 최소화를 위한 변경 이력의 시계열 모델링

테스트 스위트 최소화 (Test Suite Minimization, TSM)는 결함 탐지 능력을 유지하면서 테스트 스위트의 크기를 줄이는 기술입니다. 블랙박스 TSM (black-box TSM)에서는 프로덕션 코드의 계측 (instrumentation)에 의존하지 않고 축소 작업을 수행합니다. 여러 블랙박스 TSM 접근 방식이 테스트 로그나 테스트 유사도와 같은 지표를 탐색해 왔으나, 이러한 방식들은 종종 확장성 (scalability) 및 효율성 문제로 어려움을 겪습니다. 최근에는 블랙박스 TSM을 가이드하기 위한 가볍고 확장 가능한 지표로서 변경 이력 (change history)이 탐색되고 있습니다. 그러나 기존 방식들은 과거의 수정 사항을 균일하게 취급하며, 최근에 수정된 코드가 결함이 발생하기 더 쉽다는 소프트웨어 진화의 시계열적 역학 (temporal dynamics)을 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 블랙박스 TSM에 시계열 모델링을 도입하고 시계열 리스크 기반 테스트 스위트 최소화 (Temporal Risk-driven Test Suite Minimization, TRTM)를 제안합니다. TRTM은 버전 관리 메타데이터에서 수정 이력을 추출하고, 최신성에 따라 변경 사항에 가중치를 부여하기 위해 지수적 시간 감쇠 (exponential temporal attenuation)를 적용하여 결함 발생 가능성을 반영하는 시간 가중 클래스 수준 리스크 점수를 생성합니다. 다음으로, 블랙박스 설정을 유지하면서 테스트 코드에서만 유도된 정적 호출 그래프 (static call graphs)를 구축하여 테스트 케이스와 프로덕션 클래스 간의 의존성을 결정합니다. 각 테스트 케이스에 의해 실행되는 클래스들의 리스크 점수는 산술 평균 (Average) 및 기하 평균 (Geometric Mean)과 같은 통계적 측정을 사용하여 집계되어 테스트 케이스의 리스크 점수를 계산합니다. 마지막으로, 가장 높은 리스크 점수를 가진 테스트 케이스를 선택하여 축소된 스위트를 구성합니다. 631개 버전을 포함하는 14개 프로젝트의 대규모 데이터셋에 대한 평가 결과, TRTM은 실행 시간을 단축하는 동시에 평균 정확도 (Accuracy) 0.72 (기존 0.66 대비) 및 결함 탐지율 (Fault Detection Rate, FDR) 0.75 (기존 0.69 대비)를 달성하며 최신 베이스라인 모델들을 일관되게 능가함을 보여주었습니다.