변분 오토인코더 (Variational Autoencoder, VAE)의 유용성은 동시에 얻기 어려운 잠재 공간 (Latent Space)의 두 가지 특성에 달려 있습니다: 개별 잠재 변수 (Latent Variables)에서의 높은 인코딩 용량 (Encoding Capacity), 그리고 해당 변수들의 저차원적이고 얽힘이 해제된 (Disentangled) 조직화입니다. Kullback-Leibler 정규화 (Kullback-Leibler regularization)를 약화시키면 용량은 높아지지만 얽힘 해제 (Disentanglement) 성능이 저하되며, 반대로 이를 강화하면 잠재 변수들이 완전히 제거됩니다. 우리는 이 두 가지 문제를 모두 해결하는 소프트 제약 최적화 (Soft-constrained optimization) 문제로 VAE 학습을 공식화합니다. 첫째, 개별 잠재 변수에 엔트로피 기반 제약 (Entropy-based constraint, EC)을 부과하며, 잠재 코드 (Latent code)의 엔트로피가 데이터의 생성 요인 (Generative factors)에 대해 전달하는 상호 정보량 (Mutual information)의 상한선임을 보여줍니다. 둘째, 다운스트림 학습 (Downstream training) 중에 낮은 엔트로피 차원을 제거하기 위해 소프트 제약의 여유분 (Slack)을 활용하는 가중치 필터 (Weight-filter) 방법을 제안합니다. dSprites 데이터셋에서 EC는 바닐라 VAE (Vanilla VAE) 대비 집계된 잠재 변수 활성화 점수를 43-62% 높였으며, $\eta$-VAE 변형 모델들 중 가장 높은 FactorVAE 점수를 달성하였고 (0.891 대 0.847), 재구성 오차 (Reconstruction error)를 최대 38%까지 낮추었습니다. MNIST 데이터셋에서 가중치 필터는 정확도를 90% 이상으로 유지하면서 다운스트림 분류기 (Downstream classifier)에 제공되는 잠재 차원 (Latent dimensionality)을 10개에서 2개로 줄였으며, EC가 없는 동일한 절차보다 37% 적은 에포크 (Epochs) 내에 수렴했습니다. 또한 우리는 낮은 엔트로피를 가진 이산적 요인 (Discrete factors)은 하나의 잠재 변수로 병합되는 경향이 있는 반면, 높은 엔트로피를 가진 연속적 요인 (Continuous factors)은 여러 변수에 걸쳐 분산된다는 것을 발견했습니다.