행동 주도 소프트웨어 테스트 스위트에서의 서브시나리오 리팩토링 기회 마이닝: ML 분류기 및 LLM-Judge 베이스라인

배경 (Context). 행동 주도 개발 (Behaviour-Driven Development, BDD) 소프트웨어 테스트 스위트는 중복된 단계 하위 시퀀스 (step subsequences)를 축적합니다. 세 가지의 발표된 리팩토링 패턴 (파일 내 Background, 저장소 내 reusable-scenario 호출, 조직 간 shared higher-level step)을 사용할 수 있지만, 어떤 반복되는 하위 시퀀스가 추출할 가치가 있는지 또는 어떤 메커니즘을 적용해야 하는지를 자동화하는 선행 연구는 없습니다. 목적 (Objective). 반복되는 단계 하위 시퀀스 ("slices")를 리팩토링 적합성 (추출 가치)에 따라 순위를 매기고, 각 슬라이스를 세 가지 패턴 중 하나로 사전 매핑하며, 공개 BDD 생태계 전반에 걸친 유병률을 정량화합니다. 방법 (Method). 339개 저장소 / 276개 상위 소유자(upstream-owner)의 Gherkin 코퍼스 내 모든 연속적인 L-단계 윈도우 (L는 [2, 18] 범위)는 의역에 강건한(paraphrase-robust) 클러스터 식별자로 키가 지정되며 세 가지 범위 내에서 계산됩니다. Sentence-BERT (SBERT) / Uniform Manifold Approximation and Projection (UMAP) / Hierarchical Density-Based Clustering (HDBSCAN)은 의역이 동일한 슬라이스를 복구합니다. 세 명의 저자가 작성된 루브릭(rubric)에 따라 층화된 200개 슬라이스 풀을 레이블링합니다. 5-겹 교차 검증 (5-fold cross-validation) 하에 훈련된 eXtreme Gradient Boosting (XGBoost) 추출 가치 분류기를 조정된 규칙 베이스라인 및 두 개의 오픈 웨이트 대규모 언어 모델 (Large Language Model, LLM) 저자(judge)와 비교합니다. 결과 (Results). 마이너(miner)는 5,382,249개의 슬라이스를 생성하여 692,020개의 반복되는 패턴으로 압축합니다. 세 명의 저자에 대한 Fleiss' kappa 값은 0.56 (추출 가치) 및 0.79 (메커니즘)입니다. 분류기는 out-of-fold F1 = 0.891 (95% CI [0.852, 0.927])에 도달하여, 규칙 베이스라인 (F1 = 0.836, p = 0.017)과 더 우수한 LLM 저자 (F1 = 0.728, p < 1e-4) 모두를 능가합니다. 시나리오의 75.0%, 59.5%, 11.7%가 파일 내 Background, 저장소 내 reusable-scenario, 또는 조직 간 shared-step 후보를 포함하고 있습니다. 결론 (Conclusion). 의역에 강건한 서브시나리오 발견은 BDD 리팩토링 기회에 대한 코퍼스 전반의 통계 조사를 제공합니다. 파이프라인, 분류기 예측, 레이블링된 풀 및 루브릭은 Apache-2.0 라이선스로 공개됩니다.