$v$-prediction을 무력화시키는 요인은 무엇인가? 픽셀 공간 흐름 매칭에 대한 패치별 PCA 관점

Latent Diffusion Models는 생성 모델링 분야를 지배하고 있지만, 두 단계의 학습 복잡성과 사전 학습된 autoencoder의 내재적 재구성 한계라는 문제점을 안고 있습니다. Pixel-space Flow Matching은 이를 단순화한 end-to-end 대안을 제공하지만, 표준 $v$-prediction objective를 사용할 때 종종 학습상의 어려움에 직면합니다. 최근 연구들은 이러한 어려움을 노이즈가 포함된 타겟(noised targets)의 off-manifold 특성 때문으로 분석하며, 이는 $x$-prediction 쪽으로 초점을 옮기는 계기가 되었습니다. 본 논문에서는 patch-wise Principal Component Analysis (PCA)를 통해 이 설명을 조사하고 '대역폭 병목 현상(bandwidth bottleneck)'을 식별했습니다. 마이너 컴포넌트에서의 속도(velocity)는 주로 원시 노이즈 입력값에 의해 결정되므로, 주성분 모델링과 경쟁하는 정보를 보존하기 위해서는 깊은 백본 구조가 필요합니다. 통제된 실험과 표현 분석을 통해 우리는 $x$-prediction이 여전히 효과적인 이유를 추가로 검토했습니다: 그 매개변수화(parameterization)는 원시 입력값 우회 경로(raw-input bypass)를 제공하며, 학습된 입력 표현은 자발적으로 주성분 방향에 집중할 수 있습니다. 저랭크 관측치(low-rank observations) 하에서 유도되는 흐름(induced flow)에 대한 우리의 분석은 $x$-prediction을 암묵적인 조건부 평균 디코더(implicit conditional-mean decoder)로 특성화하며, 이는 보존된 정보로부터 폐기된 컴포넌트를 재구성합니다. 이러한 관찰들은 Raw-injected Transformer (RiT)를 동기 부여했습니다. RiT는 경량의 원시 조건부 디코더와 출력 측 쇼트컷(output-side shortcut)을 결합하여 의미론적 모델링과 원시 상태 전파를 분리합니다. 우리의 방법은 효과적인 $v$-prediction을 복원하고 ImageNet $256 imes256$에서 경쟁력 있는 성능을 달성함으로써, 예측 목적 함수와 아키텍처 대역폭 간의 상호작용에 대한 관점을 제공합니다.