LLM vs. 인간 단위 테스트: 실제 Python 버그에 대한 결함 탐지 능력 비교

대규모 언어 모델 (LLMs)은 자동화된 단위 테스트 (Unit Test) 생성 분야에서 상당한 가능성을 보여주었으나, 인간이 작성한 테스트와 비교했을 때의 실질적인 효과는 여전히 명확히 이해되지 않고 있습니다. 기존의 평가 방식은 결함 탐지 (Fault-detection) 능력을 직접적으로 평가하지 않는 커버리지 (Coverage) 중심의 벤치마크에 주로 의존합니다. 본 연구에서는 세 가지 상호 보완적인 Python 벤치마크를 통해 LLM이 생성한 단위 테스트와 인간이 작성한 단위 테스트를 실증적으로 비교합니다. 사용된 벤치마크는 BugsInPy에서 추출한 29개의 실제 과거 버그, python-slugify 및 packaging에서 추출한 함수 수준 (Function-level) 벤치마크, 그리고 통제된 쌍체 (Paired) 벤치마크입니다. 우리의 생성 파이프라인은 Gemini 2.5 Flash와 생성 시점에 버그 관련 컨텍스트 (Context)를 제공하는 경량 어휘 검색 (Lexical retrieval) 메커니즘을 결합합니다. 8가지 품질 차원에서 분석한 결과, 검색 증강 컨텍스트 (Retrieval-augmented context)를 사용한 LLM 생성 테스트는 69%의 사례에서 결함을 탐지한 반면, 일반적인 목적의 인간 작성 테스트는 17.2%에 그쳤습니다 (Fisher's exact test, $p < 0.001$, Cohen's $h = 1.10$). 결정적으로, 라인 커버리지 (Line coverage)와 브랜치 커버리지 (Branch coverage)는 두 방식 간에 거의 동일하게 나타났으며 (84.8% vs. 88.5% 및 75.2% vs. 82.1%), 이는 커버리지가 결함 탐지 능력을 나타내는 불충분한 대리 지표 (Proxy)임을 확인시켜 줍니다. 우리는 각 방식이 탁월한 성능을 보이는 조건을 논의하고, 상호 보완적인 강점을 규명하며, 의미 있는 테스트 품질 평가에 있어 검색 컨텍스트와 재현 가능한 벤치마크 구축의 결정적인 역할을 식별합니다.