딥러닝 프로그램의 결함 진단에 있어서의 평가 전략 격차

딥러닝 (DL) 프로그램은 여러 가지 이유로 학습 과정 중에 실패할 수 있으며, 그 원인을 진단하는 것은 비용이 많이 들고 시간이 오래 걸리는 유지보수 작업입니다. 이러한 실패를 진단하기 위한 기술들은 일반적으로 프로그램 내부 교차 검증 (within-program cross-validation)을 사용하여 평가되는데, 이는 이전에 본 적 없는 프로그램이 포함된 배포 환경에는 부적절할 수 있습니다. 따라서 이러한 설정들 사이에서 성능이 어떻게 달라지는지 평가하고, 기존의 딥러닝 결함 진단 기술에서 발생하는 성능 격차의 원인을 식별하는 것이 필요합니다. 우리는 38개의 실제 딥러닝 (DL) 프로그램에서 추출한 5,542개의 결함 주입 학습 트레이스 (fault-injected training traces) 코퍼스인 DynFault를 사용하여 이 격차를 조사합니다. 우리는 기존 결함 진단 기술의 균형 정확도 (balanced accuracy) 측면에서, 프로그램 내부 평가와 전체 프로그램을 제외하고 평가하는 방식 사이에 0.190의 격차가 있음을 발견했습니다. 또한 우리는 이 격차가 특징량 (features) 내의 프로그램 수준 구조에서 기인한다는 것을 발견했으며, 이에 따라 두 가지 런타임 특징량 세트인 곡률 특징량 (curvature features)과 옵티마이저 특징량 (optimizer features), 그리고 이들이 보지 못한 프로그램에서 보이는 동작을 조사했습니다. 연구 결과, 곡률 특징량은 보지 못한 프로그램에서의 불안정성 탐지에 유용하지만, 옵티마이저 및 활성화 특징량 (activation features)은 학습 중에 본 프로그램에서만 도움이 된다는 것을 확인했습니다.