암시적 자유 에너지 최소화를 통한 엔트로피적 오토인코딩 (EAE)

변분 오토인코더 (Variational Autoencoders, VAEs)는 어디에나 존재함에도 불구하고, 잠재 변수 (Latent variables)가 사실상 무시되는 실패 모드인 사후 확률 붕괴 (Posterior collapse) 문제를 본질적으로 겪고 있습니다. 이러한 실패는 명시적인 사전 확률 (Prior) 부여가 최적화 과정을 정보가 없는 잠재 표현 (Latent representations)에 해당하는 손실 경관 (Loss landscape) 영역으로 몰아넣기 때문에 발생합니다. 본 논문에서는 재구성 손실 (Reconstruction loss)만이 유일한 명시적 목적 함수이며, 자유 에너지 최소화 앙상블 인코더 (Free energy-minimizing ensemble of encoders)를 통해 엔트로피가 잠재 변수의 사전 확률을 암시적으로 생성하는 프레임워크인 엔트로피적 오토인코더 (Entropic Autoencoders, EAEs)를 소개합니다. 이 앙상블은 학습을 최적에 가까운 솔루션의 고용량 영역 (High-volume regions)으로 편향시키는 한편, 디코더 (Decoder) 업데이트는 탐색 궤적을 정보가 풍부한 잠재 표현으로 유도합니다. 우리는 EAE가 다양하고 데이터와 일치하는 생성을 생성하고 데이터의 다양한 기저 구조를 보존하는 비가우시안 (Non-Gaussian), 다봉 (Multimodal) 잠재 분포를 학습함으로써 사후 확률 붕괴를 완화함을 입증합니다. 개념 증명 (Proof-of-concept)으로서, EAE가 반응-확산 과정 (Reaction-diffusion process)의 알려진 저차원 역학 (Low-dimensional dynamics)의 중첩 (Superposition)을 포착함을 보여줍니다. 또한, EAE가 MNIST 잠재 표현에서 암시적인 범주적 구분을 식별하고, CelebA 데이터셋에서 '전체 인간' 얼굴부터 개인별 특징에 이르기까지 얼굴 구조에 대한 계층적 이해를 보여줌을 증명합니다.