캘리브레이션과 곡률의 관계: 훈련 과정에서 안정적인 모델 학습 방법

최신 신경망 모델들은 높은 정확도를 보여주지만, 종종 신뢰도 추정치(confidence estimates)가 실제 경험적 정확도(empirical correctness)와 일치하지 않는 '캘리브레이션 문제'를 안고 있습니다. 기존 연구에서는 캘리브레이션을 학습 후 적용하는 사후적인 속성으로 취급해왔습니다. 본 논문은 이 관점을 전환하여, 캘리브레이션을 작은 비전 태스크(vision tasks)에서의 훈련 시간 동안의 현상으로 분석합니다.

연구진은 딥 네트워크가 여러 경사 기반 최적화 방법(gradient-based methods)을 통해 학습되는 과정에서, '캘리브레이션', '곡률(curvature)', 그리고 '마진(margins)' 사이에 매우 긴밀한 결합 관계가 존재함을 밝혀냈습니다. 경험적으로 볼 때, **Expected Calibration Error (ECE)**는 최적화 전반에 걸쳐 곡률 기반의 날카로움(sharpness)을 거의 정확하게 추적하는 경향을 보였습니다.

수학적으로는 더욱 깊은 분석이 이루어졌습니다. 논문은 ECE와 가우스-뉴턴 곡률(Gauss–Newton curvature) 모두가 문제별 상수(problem-specific constants)를 제외하고, 궤적(trajectory)을 따라 존재하는 동일한 마진 의존적 지수 테일 함수(margin-dependent exponential tail functional)에 의해 제어됨을 증명했습니다. 이 발견은 세 가지 핵심 요소—캘리브레이션, 곡률, 그리고 마진—가 근본적으로 연결되어 있음을 시사합니다.

이러한 메커니즘을 바탕으로, 연구팀은 **마진 인식 훈련 목적 함수(margin-aware training objective)**를 제안했습니다. 이 새로운 목적 함수는 견고한 마진 테일과 국소적 평활도(local smoothness)를 명시적으로 목표로 합니다. 그 결과, 정확도를 희생하지 않으면서도 다양한 최적화기 환경에서 개선된 Out-of-sample 캘리브레이션을 달성할 수 있음을 입증했습니다.