커버리지와 Kill Score를 넘어: 테스트 스위트의 행동 격차(Behavioural Gaps)에 대한 실증적 측정

요약

기존의 코드 커버리지와 변이 테스트가 포착하지 못하는 '행동 격차(Behavioural Gaps)'를 측정하는 새로운 접근 방식을 제안합니다. 자연어 문서와 소스 코드에서 기대 동작을 추출하여 테스트 스위트의 품질을 평가하며, 기존 지표가 높은 경우에도 동작 검증이 누락될 수 있음을 입증했습니다.

핵심 포인트

• 코드 커버리지가 높아도 기대 동작과 실제 검증 사이의 격차가 존재함
• 자연어 문서와 소스 코드를 활용한 자동화된 동작 추출 방식 제안
• 최첨단 자동 테스트 생성기도 상당수의 행동 격차를 해결하지 못함
• 행동 커버리지는 기존 구조적 지표를 보완하는 독립적 차원임