초기 단서 정밀도가 통제된 단서 조작 벤치마크에서의 시각적 지름길 학습(Visual Shortcut Learning)을 형성하는 방식

시각적 분류기(Visual classifiers)는 충돌(conflict)이나 억제(suppression) 상황에서 실패하는 저수준 단서(low-level cues)에 의존하면서도, 일치하는 분포(matched-distribution)에서는 높은 정확도를 달성할 수 있습니다. 우리는 이러한 실패가 초기 단서 정밀도(early cue precision), 즉 초기 학습 또는 다운스트림 프로브 피팅(downstream probe fitting) 과정에서 저수준 단서가 레이블을 예측하는 신뢰도에 의해 형성되는지 테스트합니다. 합성 형태-질감(shape-texture) 작업, 순차적 숫자 학습, 10개 클래스 고정 표현 감사(10-class frozen-representation audit), 그리고 CIFAR-10 자연 이미지 기반 질감 오버레이(texture-overlay) 벤치마크 전반에 걸쳐, 우리는 객체-질감 일치 확률을 조작하고 일치 ID 정확도(matched-ID accuracy), 충돌 정확도(conflict accuracy), 질감 선택률(texture-choice rate), 그리고 억제 동작(suppression behavior)을 평가합니다. 성능이 저하되었지만 예측 가능한(degraded-but-predictive) 입력은 단서 비상관화(cue decorrelation)를 대체하지 못합니다. 10개 클래스 숫자 프로브(digit probes)에서, 충돌 정확도는 우연에 가까운 단서 정밀도(chance-like cue precision) 하에서의 0.589에서 타겟에 완벽한 질감(target-perfect texture) 하에서의 0.005로 떨어집니다. CIFAR-10 고정 프로브(frozen probes)에서, 충돌 정확도는 0.569에서 0.114로 떨어지는 반면, 질감 선택률은 0.049에서 0.855로 상승합니다. 이러한 순서는 {0.15, 0.25, 0.35, 0.50} 범위의 질감 오버레이 강도 alpha 전반에 걸쳐 지속됩니다. 엔드 투 엔드(End-to-end) CIFAR-10 학습은 낮은 초기 단서 정밀도가 타겟 전 충돌 동작(pre-target conflict behavior)을 개선하지만, 지름길이 풍부한 미세 조정(shortcut-rich fine-tuning)이 이러한 이점을 빠르게 덮어쓸 수 있음을 보여줍니다. 따라서 단서 비상관화(Cue decorrelation)는 일회성 예방 접종(one-time inoculation)으로 취급되기보다 다운스트림 적응(downstream adaptation) 과정 동안 유지되어야 합니다.