지도 학습의 본질적 기하학적 결함: 이론과 해결책 제시

요약

본 논문은 경험적 위험 최소화(ERM) 기반 지도 학습이 필연적으로 갖는 '기하학적 맹점(Geometric Blind Spot)'을 수학적으로 증명합니다. 이 결함은 모델이 훈련 데이터의 레이블과 상관관계가 높은 방향에만 민감하게 반응하고, 테스트 시에는 무관한 노이즈 방향에서 취약해지는 구조적 문제입니다. 저자들은 이를 진단하는 새로운 지표인 '궤적 편차 지수(Trajectory Deviation Index, TDI)'를 제안하며, 기존의 적대적 훈련 방식들이 이 핵심적인 실패 모드를 포착하지 못함을 보여줍니다. 또한, PMH라는

핵심 포인트

• 지도 학습 기반 인코더는 레이블과 상관관계가 높은 방향에만 민감성을 유지하는 '기하학적 맹점'을 갖는 것이 수학적으로 증명되었습니다.
• 새로운 진단 지표인 TDI(Trajectory Deviation Index)는 이 결함이 발생하는 핵심적인 경로 길이 왜곡(isotropic path-length distortion)을 측정하며, 기존 방식들의 한계를 명확히 보여줍니다.
• Blind Spot은 기초 모델 규모에서 측정 가능하며, 언어 모델 크기가 커질수록 악화되는 경향(최대 0.860 $ o$ 0.742 비율 변화)이 관찰되었습니다.
• 제안된 PMH 방법론은 추가적인 학습 항을 통해 이 기하학적 결함을 기존 대비 최대 11배까지 복구할 수 있음을 입증했습니다.