홀로그래픽 축소 표현 (Holographic Reduced Representations)을 이용한 얽힘 해제 (Disentanglement)

신경망을 사용하여 데이터 내의 변동 요인들을 분리하는 얽힘 해제 (Disentanglement)는 머신러닝 (Machine Learning) 분야의 오랜 과제로 남아 있습니다. 기존 연구들은 변분 추론 (Variational Inference) 및 정보 이론적 제약 (Information-theoretic constraints)의 아이디어를 결합한 변분 오토인코더 (Variational Autoencoders, VAE)와 생성적 적대 신경망 (Generative Adversarial Networks, GAN)을 통해 이 문제를 다루어 왔습니다. 연속적인 표현 (Continuous representations)에 의존하는 방법들과 대조적으로, 우리는 분포로부터 샘플을 구성하는 개념들 사이의 구성적 관계 (Compositional relationships)에 착안하여, 얽힘 해제된 표현을 기호적 구조 (Symbolic structures)로 취급하는 설계를 제안합니다. 그러나 미분 가능성 (Differentiability)을 유지하면서 신경망으로 이산적인 기호적 구조를 학습하는 것은 어렵고 종종 복잡한 아키텍처 (Architectures)를 요구합니다. 이를 해결하기 위해, 우리는 신경 얽힘 해제 (Neural disentanglement)를 위해 홀로그래픽 축소 표현 (Holographic Reduced Representations, HRR)을 사용하는 비지도 학습 (Unsupervised learning) 알고리즘을 소개합니다. 우리는 HRR 언바인딩 (Unbinding) 연산이 요인들을 분리하기 위한 귀납적 편향 (Inductive bias)을 제공하며, 잠재 변수 순회 (Latent traversals) 및 얽힘 해제 지표 (Disentanglement metrics)로 측정했을 때 베이스라인 (Baselines) 대비 경쟁력 있는 결과를 생성함을 보여줍니다. 우리는 이러한 실증적 발견을 HRR 언바인딩 채널에 대한 정보 이론적 분석 (Information-theoretic analysis)으로 보완합니다. 우리는 언바인딩이 대략적으로 독립적인 기호-값 쌍 (Symbol-value pairs)을 유도함을 증명하고, 얼마나 많은 서로 다른 기호적 개념을 안정적으로 인코딩할 수 있는지 정량화하는 슬롯당 용량 한계 (Per-slot capacity bound)를 도출하여, 얽힘 해제에 대한 귀납적 편향을 정량적으로 설명합니다. 결과적으로 생성된 표현은 잠재 단위 (Latent units)가 저차원 잠재 벡터 (Low-dimensional latent vector)의 스칼라 차원 (Scalar dimensions)이 아니라 서로 합산되는 벡터라는 점에서 표준적인 오토인코더 기반 모델들과 다릅니다. 우리는 이 HRR 표현이 다른 얽힘 해제된 표현들보다 노이즈 (Noise)에 더 강하며, 다양한 신호 대 잡음비 (Signal-to-Noise Ratios, SNRs) 범위에서 재구성 품질 (Reconstruction quality)을 유지함을 보여줍니다.