소프트웨어 결함 예측 이해: 불확실성 정량화 및 성능 평가에 관한 대규모 실증 연구

요약

소프트웨어 결함 예측(SDP)에서 불확실성 정량화(UQ) 지표의 신뢰성을 검증하기 위해 16개 분류기와 다양한 지표를 대상으로 대규모 실증 연구를 수행했습니다. 연구 결과, UQ의 성능은 프로젝트 내(WPDP)와 프로젝트 간(CPDP) 환경에 따라 문맥 의존성이 매우 높게 나타났습니다.

핵심 포인트

• UQ 지표는 프로젝트 내 예측 환경에서 특정 성능 지표와 상관관계가 높음
• 성능(변별력)과 교정(Calibration)은 서로 관련이 있으나 상호 대체 불가능함
• 프로젝트 간 예측(CPDP) 시 불확실성 신호의 신뢰성이 약화되거나 역전됨
• 전이된 확률을 품질 보증 결정에 사용하기 전 반드시 재검증이 필요함