Evidential Deep Learning을 위한 Plug-in Losses: Softmax Classifier를 포함하는 불확실성

실제 세계의 센서 기반 학습 시스템은 신뢰할 수 있으면서도 계산 효율적인 불확실성 추정 (Uncertainty Estimation)을 필요로 합니다. Evidential Deep Learning (EDL)은 학습된 신경망 매핑을 통해 Dirichlet 파라미터를 예측함으로써, Dirichlet 분포를 통해 클래스 확률을 모델링하여 단일 패스 (single-pass) 불확실성 추정을 제공합니다. 그러나 Dirichlet 기대 목적 함수 (Dirichlet expected objectives)는 표준 지도 학습 손실 (supervised learning losses)보다 더 복잡하여 분석과 구현을 어렵게 만들기 때문에, 이 접근 방식은 계산상의 어려움을 초래할 수 있습니다. 우리는 EDL에 의해 유도된 1차 경험적 위험 최소화 (first-order empirical risk minimization) 문제의 목적 함수를 Dirichlet 평균에서 평가되는 plug-in 손실로 근사함으로써 이 문제를 해결하며, 완만한 가정 하에서 평균 제곱 오차 (mean-squared error) 및 교차 엔트로피 손실 (cross-entropy loss)을 포함한 광범위한 손실 함수 클래스에 대해 근사 오차가 증거 (evidence)가 증가함에 따라 감소함을 보여줍니다. 특수한 경우로서, 우리의 분석은 불확실성 추정 맥락에서 softmax 사용에 대한 정당성을 제공하는데, 이는 특정 증거-to-Dirichlet 매핑 하에서 우리의 프레임워크가 표준 softmax classifier를 포함하기 때문입니다. 우리는 제안된 간소화된 목적 함수를 Google Speech Commands 데이터셋에서 검증하였으며, 이것이 표준 딥러닝 손실 및 훈련 파이프라인을 사용하여 구현하기 더 간단하면서도 기존 EDL과 대등한 예측 정확도 및 선택적 예측 (selective prediction) 성능을 달성함을 보여줍니다. 우리가 알고 있는 바로는, 이 경험적 분석은 EDL을 통해 음성 인식 작업에 대한 커버리지-정확도 트레이드오프 (coverage-accuracy trade-offs)를 얻어낸 첫 번째 사례입니다.