자동 스펙트럼 프루닝(Automatic Spectral Pruning)으로서의 사후 확률 붕괴(Posterior Collapse)

$β$-VAEs에서의 사후 확률 붕괴(Posterior Collapse)가 자동 스펙트럼 프루닝(Automatic Spectral Pruning)을 구현함을 보여줍니다. 잠재 모드(Latent mode)가 재구성(Reconstruction)에 기여하는 정도가 $β$에 의해 설정된 컷오프(Cutoff) 미만일 경우 해당 모드는 붕괴합니다. 따라서 서로 다른 $β$를 가진 평형 해(Equilibrium solutions)는 잠재 모드가 가장 덜 유용한 것부터 가장 유용한 것까지 분리됨에 따라 발생하는 연쇄적인 붕괴(Cascade of collapses)를 드러냅니다. 우리는 Landau 안정성 분석(Landau stability analysis)을 통해 이를 손실(Loss)의 결과로 도출합니다. 우리는 활성 잠재 모드(Active latent modes)의 순위를 매기고, 그 붕괴 임계값(Collapse thresholds)을 통해 어떤 유효 변수(Effective variables)를 가장 먼저 조사해야 하는지 식별하는 잠재 변수 재스케일링 불변(Latent-rescaling-invariant) 질서 매개변수(Order parameter)를 정의합니다. 선형 가우시안(Linear Gaussian) 사례에서 붕괴 스펙트럼(Collapse spectrum), 효용 스펙트럼(Utility spectrum), 그리고 정규화된 PCA 스펙트럼(Normalized PCA spectrum)은 일치하며, 각 붕괴는 평균장 법칙(Mean-field law)을 따릅니다. 우리는 WorldClim 데이터셋을 통해 이러한 예측들을 테스트합니다.