정렬된 학습 (Aligned Training): Sparse Autoencoders (SAE)의 특징 품질과 안정성을 향상시키는 파라미터 프리

Sparse autoencoders (SAEs)는 활성화 (activations)를 고차원 특징 (features)으로 분해함으로써 심층 신경망 (DNNs)의 내부 작동 방식을 해석하는 주요 방법 중 하나입니다. 그러나 SAE는 특징의 상당 부분이 전혀 활성화되지 않거나 불안정하다는 치명적인 단점을 보입니다. 이러한 문제를 완화하려는 다양한 SAE 변형들이 존재하지만, 이들은 추가적인 데이터, 재샘플링 (resampling) 또는 학습을 필요로 합니다. 우리는 재구성 품질 (reconstruction quality)을 개선하는 동시에, 죽은 특징 (dead features)을 제거하고, 학습 시드 (training seeds) 전반에 걸쳐 안정성을 크게 향상시키는 SAE의 파라미터 프리 (parameter-free) 재매개변수화 (reparameterization) 방식인 \textbf{정렬된 학습 (aligned training)}을 제안합니다. 우리의 접근 방식은 인코더 (encoder)와 디코더 (decoder) 방향 사이의 내적 (inner product)으로 측정되는 SAE 특징 품질(우리는 이를 \textbf{정렬 점수 (alignment score)}라고 부름)이 모든 현대적 아키텍처에서 이봉 분포 (bimodal distribution)를 따른다는 간과된 관찰 결과에서 영감을 얻었습니다. 제안된 정렬된 학습은 인코더와 디코더 사이에 기하학적 제약 (geometric constraint)을 부여하여 모든 특징에 대해 그 내적이 1이 되도록 강제하며, 이는 하이퍼파라미터 (hyperparameters)를 추가하지 않고도 SAE 학습의 퇴화 (degeneracy) 원인을 제거합니다. 여러 모델, 사전 크기 (dictionary sizes) 및 희소성 수준 (sparsity levels)에 걸쳐, 정렬된 학습은 SAEBench 벤치마크에서 파레토 개선 (Pareto improvements)을 보여줍니다. 죽은 특징, 안정성 및 재구성을 개선하는 것을 넘어, 우리의 방법은 Top/BatchTop-K 아키텍처 및 p-Annealing과 같은 기계적 해석 가능성 (mechanical interpretability) 기술과도 쉽게 통합됩니다. 종합적으로, 정렬된 학습은 계산 복잡성이나 비용 증가 없이 SAE의 특징 품질과 안정성을 실질적으로 향상시킵니다.