Deep4ge: 결함 탐지 및 진단을 위한 DNN 훈련 궤적
요약
본 논문은 딥러닝 시스템의 결함 탐지 및 진단을 위한 새로운 공공 데이터셋 Deep4ge를 제시합니다. 이 데이터셋은 Stack Overflow에서 수집한 DNN 프로그램 기반으로, 다양한 종류의 오류가 주입된 14,227개의 훈련 실행을 포함합니다. Deep4ge는 에포크별 훈련 동작과 여러 특징(가중치, 기울기 등)을 기록하여 결함 탐지 및 진단에 활용될 수 있습니다.
핵심 포인트
- Deep4ge: DNN 결함 탐지/진단을 위한 공개 데이터셋 제공
- Stack Overflow 기반의 실제 코드 변형으로 구성됨
- 훈련 에포크별 26가지 특징(가중치, 기울기 등) 기록
- 결함 탐지, 다중 클래스 진단, 조기 예측 지원
딥러닝 시스템은 훈련 동작을 변경하는 미묘한 구현 오류로 인해 종종 실패합니다. 최근 연구에서는 훈련 에포크 전반에 걸쳐 관찰되는 변화를 통해 이러한 실패를 탐지하고 진단하는 방법을 연구해 왔습니다. 하지만 소프트웨어 공학 커뮤니티는 결함 탐지 및 진단 작업을 위한, 각 에포크별 훈련 실행과 문서화된 오류 이력, 특징 추출 세부 사항, 그리고 명확한 재사용 지원을 갖춘 공개 데이터셋이 부족합니다. 본 논문에서는 Stack Overflow에서 수집한 59개의 수정된 TensorFlow/Keras 심층 신경망(DNN) 프로그램으로 생성된 14,227개 훈련 실행에 대한 통제된 벤치마크인 Deep4ge를 제시합니다. 우리는 7가지 범주에 걸쳐 알려진 결함을 도입하는 27개의 소스 코드 변환을 사용하여 오류가 있는 변형(faulty variants)을 생성했습니다. 이 데이터셋은 9,845개의 오류 실행과 4,382개의 정상 기준선(correct baseline) 실행을 포함합니다. 각 실행에 대해 우리는 4가지 평가 지표와 매 에포크의 훈련 동작을 측정하는 26가지 특징을 기록합니다. 이 특징들은 가중치(weights), 기울기(gradients), 활성화 값(activations), 정확도 및 손실 추세, 학습률(learning rate), 하드웨어 사용량을 포착합니다. Deep4ge는 바이너리 결함 탐지, 다중 클래스 결함 진단, 그리고 부분 훈련 실행으로부터의 조기 결함 예측을 지원합니다. 본 연구에서는 데이터셋과 오류 주입 프레임워크를 https://doi.org/10.5281/zenodo.20337241에서 공개합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기