BDD 스텝 중복 탐지기 'cukereuse': 정적이고 의미론적으로 강력한 도구

행동 주도 개발(Behavior-Driven Development, BDD)은 테스트 케이스를 사람이 이해하기 쉬운 자연어 스텝으로 작성하는 방식입니다. 그러나 시간이 지남에 따라 BDD 스위트는 동일하거나 유사한 내용의 스텝 텍스트가 반복적으로 축적되는 '스텝 중복(step-text duplication)' 문제를 겪게 되며, 이는 유지보수 비용을 증가시키는 주요 원인이 됩니다.

기존의 중복 탐지 기술들은 크게 두 가지 한계를 가졌습니다. 첫째, 테스트를 실제로 실행해야만 작동하는 방식이었습니다 (Binamungu et al., 2018-2023). 둘째, 특정 조직이나 환경에 국한되어 사용 가능한 경우도 많았습니다 (Irshad et al., 2020-2022).

본 논문은 이러한 간극을 메우기 위해 'cukereuse'라는 혁신적인 오픈소스 Python CLI 도구를 개발했습니다. cukereuse는 어떤 저장소에서도 사용할 수 있는, 순수 정적(purely static), 구문 변형에 강한(paraphrase-robust) 스텝 레벨 중복 탐지기를 목표로 합니다.

🛠️ 기술적 접근 방식:
cukereuse는 다층적인 파이프라인을 결합하여 높은 정확도를 달성합니다. 이 파이프라인은 다음 세 가지 핵심 기법을 통합했습니다:

1. 정확한 해싱 (Exact Hashing): 가장 기본적인 일치 여부를 빠르게 확인합니다.
2. Levenshtein 비율: 오타나 작은 변화가 있는 유사성을 측정하여 근접 중복(near-duplicate)을 탐지합니다.
3. Sentence-Transformer 임베딩: 문맥적 의미를 파악하는 최신 자연어 처리 기술을 활용하여, 단어나 구문 구조는 다르지만 의미적으로 동일한 스텝(paraphrase)까지 포착할 수 있습니다.

📊 실험 및 결과:
개발팀은 347개의 공개 GitHub 저장소에서 추출된 총 23,667개의 .feature 파일과 1,113,616개의 Gherkin 스텝을 포함하는 방대한 코퍼스를 구축했습니다. 이 데이터를 분석한 결과:

• 스텝 가중치 기반 정확한 중복률: 전체에서 80.2%에 달하는 높은 중복률이 확인되었습니다.
• 최상위 하이브리드 클러스터: 단지 2,200개의 파일에서만 무려 20.7k 건의 중복 발생을 발견했습니다.

성능 평가 면에서는 특히 '점수 없음(score-free)' 레이블링 프로토콜을 사용했을 때 가장 강력한 성능을 보였습니다. 이 경우, F1 점수는 0.822에 달하며, 이는 기존의 어휘적 기반 모델들(예: SourcererCC-style)이 기록한 최고 F1 점수 (0.761)를 크게 능가하는 수치입니다.

또한, 이 논문은 Gherkin 문법 자체에 대한 비판적인 고찰도 포함하고 있습니다. '인지적 표기법의 차원(Cognitive Dimensions of Notations)'이라는 관점에서 14개의 차원을 평가한 결과, 그중 8개 차원이 문제적이거나 지원되지 않는 것으로 평가되어 BDD 표준화에 대한 논의를 촉발했습니다.

결론적으로, cukereuse는 단순히 중복을 찾는 도구를 넘어, BDD 테스트 작성 관행과 문법 구조 자체에 대한 깊이 있는 통찰력을 제공하는 종합적인 플랫폼입니다. 개발자들은 이 오픈소스 도구와 방대한 코퍼스를 활용하여 BDD 스위트의 품질 관리 및 유지보수 효율성을 획기적으로 개선할 수 있습니다.