캘리브레이션과 곡률의 관계: 훈련 과정에서 안정적인 모델 학습 방법

요약

최신 신경망은 높은 정확도를 달성하지만, 신뢰도 추정(confidence estimates)이 실제 성능(empirical correctness)과 일치하지 않는 '캘리브레이션 문제'를 겪습니다. 본 논문은 캘리브레이션을 사후적 속성이 아닌 훈련 과정의 현상으로 접근합니다. 연구 결과, 딥 네트워크가 최적화되는 동안 캘리브레이션(Expected Calibration Error, ECE)이 곡률 기반의 날카로움(sharpness)을 매우 근접하게 추적한다는 것을 발견했습니다. 이를 바탕으로, 로컬 평활도와 견고한 마진 테일(rob-u

핵심 포인트

• 캘리브레이션은 사후적인 속성이 아닌 훈련 과정 중 발생하는 현상으로 접근해야 합니다.
• 최적화 과정에서 Expected Calibration Error (ECE)는 곡률 기반의 날카로움(sharpness)을 매우 밀접하게 추적합니다.
• 논문은 마진에 민감한 트레이닝 목적 함수를 도입하여, 정확도를 희생하지 않으면서도 다양한 최적화기에서 개선된 Out-of-sample 캘리브레이션을 달성했습니다.