베이즈 몫을 통한 손실 변화 전이 (Loss-Shift Transfer via Bayes Quotients)

전이 학습(Transfer learning)은 보통 분포 변화(distribution shift)의 결과로 연구됩니다. 본 논문은 데이터 분포는 고정되어 있고 손실(loss)만 변하는 직교적인 실패 모드(orthogonal failure mode)를 식별합니다. 이 설정은 extit{손실 변화}(loss shift)라고 불립니다. 손실은 $X$의 어떤 정보가 베이즈 관련성(Bayes-relevant)을 가지는지 결정하며, 따라서 두 개의 손실은 동일한 결합 법칙 $P(X,Y)$ 하에서도 서로 다른 표현(representations)을 요구할 수 있습니다. 이 아이디어는 베이즈 몫(Bayes quotients)을 사용하여 공식화되며, 이는 손실들이 정제(refinement)에 의해 순서화될 수 있도록 합니다. 베이즈-몫 공식화에서 엄격한 정제(strict refinement)는 즉각적인 질적 장애물(qualitative obstruction)을 제공합니다. 더 거친 손실(coarser loss)에 대한 소스 최소 표현은 엄격하게 더 미세한 타겟 손실(strictly finer target loss)에는 불충분합니다. 유한 출력 로그 손실(finite-output log loss)의 경우, 이 장애물은 정확한 양적 항등식(exact quantitative identity)이 됩니다. 초과 위험(excess risk)은 표현에 의해 폐기되는 $Y$에 대한 조건부 정보입니다. 제어된, 학습된, 합성 이미지 및 실제 이미지 환경에서의 실험들은 예측된 효과를 보여주는데, 즉 분류 등가 표현(classification-equivalent representations)이라 할지라도 고정된 데이터 분포 하에서 서로 다른 최적 로그 손실 성능을 가질 수 있다는 것입니다.