잠재 변수 모델의 양극화 영역에 대한 엔트로피 기반 특성 분석

요약

본 논문은 VAE의 잠재 변수가 활성, 수동, 혼합 하위 집합으로 나뉘는 양극화 영역을 엔트로피 기반으로 분류하는 새로운 정보 이론적 방법을 제안합니다. 기존의 가우시안 사전 확률 의존성을 탈피하여 평균 표현의 엔트로피를 활용하며, 실험을 통해 다양한 VAE 모델에서 이 기준의 유효성을 입증했습니다. 또한 수동 차원의 붕괴가 완전한 정보 제거가 아닌 규모의 문제일 수 있음을 시사합니다.

핵심 포인트

• 가우시안 사전 확률에 의존하지 않는 엔트로피 기반의 잠재 변수 분류 방법론 제안
• 평균 표현의 엔트로피와 KL 최소화 간의 이론적 관계(엔트로피-분산 경계) 규명
• 평균의 엔트로피만으로는 활성 차원과 혼합 차원을 완벽히 구분하기 어렵다는 한계 명시
• $eta$-VAEs, 식별 가능한 VAEs 등 다양한 모델에서 제안된 기준의 일관된 성능 확인
• 수동 차원이 적절히 정규화될 경우 다운스트림 태스크에서 미세한 성능 개선을 가져올 수 있음