풀 수 있는 고차원 GAN에서의 효과적인 공분산 역학 (Effective Covariance Dynamics in Solvable

우리는 선형 생성기 (linear generator)가 구조화된 잠재 공분산 (latent covariance)을 가진 데이터로부터 저차원 부분 공간 (low-dimensional subspace)을 학습하는, 풀 수 있는 고차원 생성적 적대 신경망 (Generative Adversarial Network, GAN) 학습 모델을 연구합니다. 기존의 풀 수 있는 GAN 분석들은 대각 잠재 공분산 (diagonal latent covariance)을 가진 무조건부 신호 (unconditional signals)를 가정하지만, 우리는 다중 특징 판별기 (multi-feature discriminator) 설정을 클래스 의존적이고, 상관관계가 있으며, 평균이 0이 아닌 잠재 구조로 확장합니다. 이차 에너지 판별기 (quadratic energy discriminator)의 경우, 이러한 모든 이질성 (heterogeneity)은 확률 가중치가 적용된 유효 2차 모멘트 (effective second moment)를 통해 역학 (dynamics)에 반영됩니다. 우리는 고차원 극한 (high-dimensional limit)에서 확률적 미시적 학습 과정 (stochastic microscopic training process)이 이 유효 공분산 (effective covariance)에 의해 지배되는 결정론적 상미분 방정식 (deterministic ordinary differential equations, ODE)으로 수렴함을 증명합니다. 일치 공분산 (matched-covariance) 특수 사례에서, 안정성 분석은 학습률 (learning rates)과 노이즈 수준 (noise level)에 의해 결정되는 모드별로 풀 수 있는 구간 (mode-wise solvable interval)을 산출합니다. 즉, 주요 유효 고유값 (leading effective eigenvalue)이 하한 임계값을 넘을 때 학습이 시작되며, 완전한 복구 (full recovery)를 위해서는 모든 관련 유효 모드 (effective modes)가 해당 구간 내에 머물러야 합니다. 이는 신호 증폭 메커니즘 (signal-boosting mechanism)을 드러냅니다. 즉, 저계수 상관관계 (low-rank correlations)는 약한 방향을 학습 가능 임계값 (learnability threshold) 위로 끌어올릴 수 있는 반면, 과도하게 강한 상관관계는 복구를 불안정하게 만듭니다. 수치 시뮬레이션은 ODE, 상 경계 (phase boundary), 그리고 증폭 메커니즘을 검증합니다. MNIST, FashionMNIST, 그리고 CIFAR-10에 대한 실험은 정보가 반영된 생성기 공분산 (informed generator covariance)이 데이터 기반 참조 부분 공간 (data-driven reference subspace)과의 정렬 (alignment)을 개선함을 추가로 보여줍니다.