식별 가능한 희소 오토인코더 (Identifiable Sparse Autoencoders)를 향하여

최근 희소 오토인코더 (Sparse Autoencoders, SAEs)는 실제 신경망 (Neural Networks)의 표현 (Representations)을 해석하고 상호작용하기 위한 매력적인 도구로 부상했습니다. 이는 흔한 경험적 통념(Empirical folklore)이기도 하지만, 우리는 SAEs가 매우 불안정하다는 것을 이론적으로도 보여줍니다. 즉, 서로 다른 학습 실행 (Training runs)은 서로 다른 개념 사전 (Concept dictionaries)과 희소 코드 (Sparse codes)를 생성할 가능성이 높습니다. 우리는 실제 환경의 SAEs의 안정성을 저해하는 모델 특성들을 규명하고, 아키텍처 (Architecture)와 학습 절차 (Training procedure)에 대한 최소한의 변경을 통해 이러한 각 문제들을 해결합니다. 이러한 변경 사항들을 결합하여, 우리는 표준 TopK SAE의 변형으로서 재구성 오차 (Reconstruction error)는 낮추고 안정성은 향상시킨 두 가지 버전의 식별 가능한 SAE (Identifiable SAE, iSAE)를 제시합니다. 우리는 SAEs를 전통적인 사전 학습 (Dictionary learning) 접근 방식과 연결함으로써 이러한 개선 사항을 이론적으로 설명하며, 실제 환경에서 학습된 사전들이 근사적 제한 등거리 조건 (Approximate restricted isometry condition)을 만족하여 해당 모델들의 희소 코드가 거의 식별 가능한 (Near-identifiable) 상태가 됨을 보여줍니다.