의사결정 경관의 베이지안 유도 탐색을 통한 신경망 테스트

신경망 (Neural Networks)이 안전이 중요한 (safety-critical) 영역에 점점 더 많이 배치됨에 따라, 신뢰성을 평가하고 개선하기 위한 테스트가 필수적입니다. 블랙박스 (black-box) 또는 화이트박스 (white-box) 방식의 기존 테스트 방법들은 주로 전역 변이 (global mutation) 또는 커버리지 유도 (coverage-guided) 전략을 사용하는데, 이 두 방식 모두 원래의 데이터 분포 (data distribution) 및 의미론적 (semantics) 근접성을 유지하면서 다양한 모델 실패 사례를 효율적으로 찾아내는 데 어려움을 겪습니다. 우리는 해석 가능한 살리언시 기법 (interpretable saliency techniques)을 통해 식별된 의사결정 핵심 입력 영역을 변이시키고, 불확실성을 인지하는 베이지안 최적화 (Bayesian Optimization) 전략을 사용하여 테스트 프로세스를 적응적으로 유도함으로써 이러한 한계를 해결하는 테스트 프레임워크인 BayesWarp를 제안합니다. 이를 통해 원래 데이터와의 분포적 및 의미론적 근접성을 유지하면서도 다양한 실패 사례를 발견할 수 있습니다. 6개의 신경망 모델에 대해 MNIST, CIFAR-10, ImageNet 데이터셋으로 평가한 결과, BayesWarp는 고정된 변이 예산 (mutation budget) 하에서 실패 발견 (failure discovery), 실패 다양성 (failure diversity), 테스트 케이스 품질 (test case quality), 그리고 핵심 뉴런 커버리지 (critical neuron coverage)를 향상시키는 것으로 나타났습니다. 이러한 결과는 BayesWarp가 테스트 효과성을 개선함을 입증합니다. 또한, 생성된 실패 사례들을 사용하여 미세 조정 (fine-tuning)을 수행하면 모델 성능이 향상됩니다.