품질 기반 선택적 변이: 딥러닝을 위한 접근법

변이는 (i) 테스트 목표로서와 (ii) 실제 결함의 대용으로서 두 가지 역할에서 테스트 및 디버깅을 지원합니다. 제거하기 어려운 변이는 테스트 개선을 위한 더 나은 지침을 제공하며, 변이를 실제 버그를 시뮬레이션하는 데 사용할 때는 현실성 (realism) 이 필수적입니다. 이러한 역할을 바탕으로 딥러닝 (DL) 을 위한 선택적 변이는 저항성 있고 현실적인 변이를 생성하도록 하는 연산자 구성 (operator configurations) 을 선택함으로써 변이 생성 및 실행 비용을 줄이려는 목표를 가집니다. 그러나 DL 문헌에는 두 가지 측면을 모두 포착하는 통합된 측정 기준이 부족합니다. 본 연구는 통계적 제거 확률을 사용하여 고전적인 '제거하기 어려운 변이' 개념을 DL 설정에 적용한 저항성 (resistance) 과, 변이와 실제 결함의 탐지 패턴 간 일반화된 Jaccard 유사도를 통해 측정된 현실성 (realism) 을 두 가지 보완적인 축을 따라 변이의 품질을 정량화하는 확률적 프레임워크를 제시합니다. 이 프레임워크는 특정 사용 사례를 가정하지 않고도 저품질 변이 연산자 구성의 순위 매기기 및 필터링을 가능하게 합니다. 우리는 실제 DL 결함이 포함된 네 개의 데이터셋에서 해당 접근법을 경험적으로 평가했습니다. 세 가지 데이터셋 (CleanML, DeepFD, DeepLocalize) 은 고품질 연산자 구성을 추정하고 선택하는 데 사용되었으며, 나머지 defect4ML 데이터셋은 검증에 사용되었습니다. 결과는 기준선 정렬된 선택 임계값 하에서 저항성과 현실성의 일반적인 수준을 유지하면서 생성된 변이의 수를 최대 55.6% 줄이는 품질 기반 선택이 가능함을 보여줍니다. 이러한 발견들은 이중 목표 선택이 변이의 두 가지 역할 모두에 대한 유용성을 해치지 않으면서 비용을 낮출 수 있음을 확인합니다.