자기지도 학습 원리를 통한 확산 모델 (Diffusion Models)의 표현 공간 평가

확산 모델 (Diffusion models)은 놀라운 생성 능력 (generative capabilities)을 입증해 왔으며, 강력한 자기지도 표현 학습기 (self-supervised representation learners)로도 부상했으나, 이 두 능력 사이의 연결 고리는 여전히 충분히 탐구되지 않은 상태입니다. 자기지도 학습 (Self-supervised learning, SSL)에서 영감을 얻어, 우리는 확산 모델의 표현 (representation) 능력과 생성 (generation) 능력을 공동으로 평가하기 위한 프레임워크를 소개합니다. 구체적으로, 우리는 특징 (features)을 불변 (invariant) 성분과 잔차 (residual) 성분으로 분해하고, 피셔 정보 (Fisher-based) 기반 지표인 불변 오염 비율 (Invariant Contamination Ratio, ICR)을 도출합니다. 이 지표는 특징 공간 (feature space)에서 잔차 변동 (residual variation)이 불변 신호 (invariant signal)를 얼마나 오염시키는지 정량화합니다. 우리는 이 프레임워크를 사용하여 확산 모델의 판별적 (discriminative) 행동과 생성적 (generative) 행동을 모두 분석합니다. 표현 측면에서, 우리는 불변성 (invariance)이 중간 노이즈 수준 (intermediate noise levels)에서 정점에 도달하며, 이 수준이 다운스트림 분류 (downstream classification) 성능 또한 가장 높게 나타난다는 것을 발견했습니다. 생성 측면에서는, 데이터가 제한된 환경 (data-limited regimes)에서 학습이 진정한 일반화 (generalization)에서 암기 (memorization)로 어떻게 전환되는지 연구하며, ICR이 초기 학습의 민감한 학습 시간 지표 (training-time indicator) 역할을 한다는 것을 보여줍니다. 즉, 피셔 방향 (Fisher directions)을 따라 잔차 에너지 (residual energy)가 증가하는 것은 암기의 시작을 나타내며, 이는 외부 평가기나 별도의 테스트 세트 없이 학습 특징 (training features)만으로도 감지할 수 있습니다. 종합적으로, 우리의 결과는 확산 모델이 학습된 표현의 기하학적 구조 (geometry of their learned representations)를 통해 자기지도 관점에서 모니터링될 수 있음을 보여줍니다.