지도 학습의 본질적 기하학적 결함: 이론과 해결책 제시

본 연구는 경험적 위험 최소화(Empirical Risk Minimisation, ERM)를 사용하는 지도 학습 모델이 필연적으로 갖게 되는 구조적인 취약점, 즉 '기하학적 맹점(Geometric Blind Spot)'을 수학적으로 증명합니다. 이는 단순히 현재 방법론의 실패가 아니라, 지도 학습 목표 자체에서 비롯되는 근본적인 기하학적 제약 조건입니다.

1. 이론적 발견: 기하학적 맹점 (Theorem 1)
저자들은 모든 지도 손실을 최소화하는 인코더는 훈련 데이터의 레이블과 상관관계가 높은 방향(label-correlated)에서는 비제로 자코비안 민감성(non-zero Jacobian sensitivity)을 유지해야 하지만, 테스트 시에는 무관한 노이즈 방향(nuisance directions)에서 취약해지는 특성을 갖는다고 증명했습니다. 이 단일 정리는 기존에 분리되어 다루어졌던 여러 문제들—강건하지 않은 예측 특징(non-robust predictive features), 텍스처 편향(texture bias), 오염 취약성(corruption fragility), 그리고 강건성-정확도 트레이드오프(robustness-accuracy tradeoff)—을 하나의 틀로 통합합니다. 이 관점에서 볼 때, 적대적 취약성은 지도 학습 기하학의 더 넓은 구조적 사실 중 하나에 불과한 결과입니다.

2. 진단 지표: TDI (Trajectory Deviation Index)
이 결함을 측정하기 위해 '궤적 편차 지수(TDI)'라는 새로운 진단 도구를 도입했습니다. TDI는 이 정리가 경계하는 핵심적인 양, 즉 등방성 경로 길이 왜곡(isotropic path-length distortion)을 직접 측정합니다. 기존의 일반적인 대안들이 이 핵심 실패 모드를 포착하지 못함을 보여주면서, PGD 적대적 훈련이 자코비안 프로베니우스 노름(Jacobian Frobenius norm) 2.91에 도달했음에도 불구하고 가장 나쁜 클린 입력 기하학(TDI 1.336)을 보였고, PMH가 TDI 0.904를 달성했음을 제시했습니다.

3. 실증적 검증 및 개선 (PMH)
이 결함은 실제 다양한 비전 태스크에서 측정 가능하며 수정 가능하다는 것을 입증했습니다. BERT/SST-2, CLIP의 ImageNet ViT-B/16, DINO, SAM 등 여러 기초 모델 백본을 사용한 7가지 비전 작업 전반에 걸쳐 이 맹점이 존재합니다. 특히 언어 모델 규모가 커질수록(66M $ o$ 340M) 기하학적 결함 비율이 단조적으로 악화되는 경향(0.860 $ o$ 0.742)을 보였습니다. 또한, 태스크별 ERM 파인튜닝은 이 문제를 최대 +54%까지 증폭시킵니다.

저자들은 'PMH'라는 새로운 접근 방식을 통해 이를 해결합니다. PMH는 추가적인 학습 항(additional training term) 하나만으로 기하학적 결함을 기존 대비 11배나 복구할 수 있습니다. 이 추가 항의 가우시안 형태가 인코더 자코비안을 균일하게 패널티화하는 유일한 교란 법칙(unique perturbation law)임을 증명했습니다.