커버리지와 Kill Score를 넘어: 테스트 스위트의 행동 격차(Behavioural Gaps)에 대한 실증적 측정

전통적인 테스트 적절성 지표(test adequacy metrics)는 시스템의 구현(implementation)을 측정할 뿐, 시스템이 기대되는 동작(expected behaviour)을 준수하는지 여부는 측정하지 않습니다. 개발자들은 테스트 스위트의 품질을 평가하기 위해 코드 커버리지(code coverage)와 변이 테스트(mutation testing)에 크게 의존하지만, 이러한 지표들은 근본적으로 구현 중심적이며 코드가 수행하기로 기대되는 일과 실제로 수행하는 일 사이의 격차를 탐지할 수 없습니다. 불행히도 이러한 불일치를 신뢰성 있게 탐지할 방법은 없었습니다. 본 논문에서는 이러한 격차를 조사하기 위한 자동화된 개념 증명(proof-of-concept) 접근 방식을 소개합니다. 이 접근 방식은 자연어 문서(natural language documentation)와 소스 코드로부터 기대되는 메서드 수준의 동작(method-level behaviours)을 추출하고, 이를 기존 테스트 케이스에 매핑하며, 기대되는 동작과 검증된 동작 사이의 격차를 식별합니다. 우리는 8,922개의 메서드로 구성된 10개의 인기 있는 오픈 소스 Java 라이브러리를 통해 이 접근 방식을 평가하였으며, 93.1%의 정밀도(precision)로 20,729개의 동작을 추출했습니다. 우리의 실증적 분석에 따르면, 탐지된 기대 동작 중 17.5%가 완전히 테스트되지 않은 상태로 남아 있다고 보수적으로 추정되며, 우리는 이를 테스트 스위트의 행동 격차(behavioural gap)라고 명명합니다. 이러한 격차가 단순히 인간 주도의 테스트로 인한 결과물인지 확인하기 위해, 최첨단 자동 테스트 생성기(EVOSUITE / ASTER)를 평가한 결과, 이들 역시 탐지된 기대 동작의 최소 20.6% / 27.1%를 검증하는 데 실패함을 발견했습니다. 우리는 더 나아가 행동 격차가 전통적인 구조적 지표(structural metrics)에 의해 예측되지 않음을 입증했습니다. 테스트되지 않은 동작의 대다수는 이미 높은 라인 커버리지(line coverage)를 가진 메서드에서 발생하며, 절반 이상은 높은 변이 킬 스코어(mutation kill score)를 가진 메서드에서도 지속됩니다. 이러한 결과는 행동 커버리지(behavioural coverage)가 전통적인 구조적 지표를 보완할 수 있는 테스트 스위트 적절성의 독립적인 차원으로 작용함을 시사합니다.