BDD 스텝 중복 탐지기 'cukereuse': 정적이고 의미론적으로 강력한 도구

요약

본 논문은 행동 주도 개발(BDD) 스위트에서 흔히 발생하는 스텝 텍스트 중복 문제를 해결하기 위해 'cukereuse'라는 새로운 도구를 소개합니다. 기존의 탐지기들은 테스트 실행이 필요하거나 특정 조직에 국한되는 한계가 있었습니다. cukereuse는 정확한 해싱, Levenshtein 비율, Sentence-Transformer 임베딩을 결합한 계층적 파이프라인을 사용하여 어떤 저장소에서도 사용할 수 있는 순수 정적(static)이며 구문 변형에 강한(paraphrase-robust) 스텝 중복 탐지기입니다. 347개 공개 깃

핵심 포인트

• cukereuse는 정확한 해싱, Levenshtein 비율, Sentence-Transformer 임베딩을 결합하여 BDD 스텝의 중복을 탐지하는 오픈소스 Python CLI 도구입니다.
• 실험에 사용된 347개 공개 GitHub 저장소와 23,667개의 .feature 파일에는 총 1,113,616개의 Gherkin 스텝이 포함되어 있으며, 이 중 스텝 가중치 기반 정확한 중복률은 80.2%에 달합니다.
• 최종적으로 보고된 가장 강력한 쌍 수준(pair-level) F1 점수는 '점수 없음' 레이블 기준 0.822이며, 이는 기존의 어휘적 베이스라인(Lexical baselines)을 크게 능가하는 수치입니다.
• 이 논문은 Gherkin 문법 자체에 대한 비판적 분석(Cognitive Dimensions of Notations)도 제공하며, 도구와 방대한 코퍼스, 레이블링된 쌍 등을 모두 공개했습니다.