정렬된 학습 (Aligned Training): Sparse Autoencoders (SAE)의 특징 품질과 안정성을 향상시키는 파라미터 프리

요약

Sparse Autoencoders(SAEs)의 고질적인 문제인 죽은 특징(dead features)과 학습 불안정성을 해결하기 위해 파라미터 프리 방식인 '정렬된 학습(aligned training)'을 제안합니다. 인코더와 디코더 사이의 내적을 1로 강제하는 기하학적 제약을 통해 추가적인 하이퍼파라미터 없이도 재구성 품질과 안정성을 크게 향상시킵니다.

핵심 포인트

• SAE의 특징 품질을 측정하는 '정렬 점수(alignment score)'가 이봉 분포를 따른다는 관찰을 바탕으로 설계됨
• 인코더와 디코더 간의 내적을 1로 고정하는 재매개변수화 방식을 통해 추가 데이터나 재샘플링 없이 문제 해결
• SAEBench 벤치마크에서 재구성 품질, 죽은 특징 제거, 학습 안정성 측면의 파레토 개선 입증
• Top/BatchTop-K 및 p-Annealing과 같은 기존 기계적 해석 가능성 기술과 쉽게 통합 가능
• 계산 복잡도나 비용의 증가 없이 SAE의 성능을 실질적으로 향상시킴