이름만 있으면 충분하다: Python을 위한 효과적이고 안전한 회귀 테스트 선택 (Regression Test Selection)

회귀 테스트 선택 (Regression Test Selection, RTS)은 코드 변경의 영향을 받는 테스트만을 실행함으로써 회귀 테스트 비용을 절감합니다. 정적 타이핑 (Statically typed) 언어에서의 RTS에 대한 광범위한 연구에도 불구하고, Python에서 효과적이고 안전한 RTS를 달성하는 것은 어렵습니다. Python의 동적 타이핑 (Dynamic typing)은 정밀한 호출 그래프 (Call-graph) 구축을 어렵게 만들며, 이는 호출 그래프 기반의 RTS가 영향을 받는 테스트를 놓치는 원인이 될 수 있습니다. 반면, Python의 즉시 임포트 (Eager importing) 메커니즘은 파일 수준의 의존성 분석을 지나치게 보수적으로 만듭니다. 본 논문은 미세한 의존성 분석 (Fine-grained dependency analysis)에 기반한 최초의 Python RTS 접근 방식인 NameRTS를 제시합니다. NameRTS는 Python 프로그램을 코드 요소 노드 (Code element nodes)와 이름 노드 (Name nodes)의 이분 그래프 (Bipartite graph)로 모델링하며, 에지 (Edge)는 정의 (Definitions)와 참조 (References)를 포착합니다. RTS는 이 그래프에서의 도달 가능성 문제 (Reachability problem)로 공식화됩니다. 즉, 수정된 코드 요소가 해당 테스트에서 사용된 이름으로부터 도달 가능하다면 해당 테스트를 선택합니다. 이러한 설계는 호출 그래프 구축을 피함으로써 안전성을 보장할 수 있는 보수적인 분석을 가능하게 합니다. 거친 이름 매칭 (Coarse name matching)으로 인해 발생하는 의존성 폭포 (Dependency cascades)를 제어하기 위해, NameRTS는 이전 테스트 실행 결과와 문맥 정보 (Context information)를 활용하여 이름 매칭을 정교화하는 두 가지 가지치기 (Pruning) 전략을 적용합니다. NameRTS를 평가하기 위해, 우리는 각 커밋 (Commit)에 의해 어떤 테스트 파일이 영향을 받는지 나타내는 정답 (Ground truth)을 포함한 최초의 Python RTS 데이터셋을 구축했습니다. 우리는 NameRTS를 거친 파일 수준 의존성에 기반한 RTS 기술인 가장 성능이 뛰어난 베이스라인 BabelRTS와 비교했습니다. 이 벤치마크에서 NameRTS는 평균적으로 테스트 파일의 69.90%를 건너뛰며, BabelRTS보다 146.5% 더 우수한 성능을 보였습니다. 또한 엔드 투 엔드 (End-to-end) 테스트 시간을 45.59% 단축하여 BabelRTS 대비 107.7%의 개선을 달성했습니다. 안전성 측면에서 NameRTS는 커밋의 99.6%에 대해 영향을 받는 모든 테스트를 선택하며, 예외적인 경우에만 드물게 누락이 발생했습니다. 반면, BabelRTS는 커밋의 76.6%에 대해서만 안전했습니다. 이러한 결과는 NameRTS의 효과를 입증하며, Python에서 더욱 효율적인 회귀 테스트를 위한 길을 열어줍니다.