Tree SAE: 희소 자동인코더(SAE)에서 계층적 특징 구조 학습하기

희소 자동인코더(Sparse Autoencoders, SAEs)에서 계층적 특징을 학습하는 것은 실제 데이터의 구조화된 특성을 포착하고 특징 흡수(feature absorption)나 분할(splitting)과 같은 문제를 완화하는 데 필수적입니다. 기존 연구들은 활성화 커버리지(activation coverage)에 의존하여 독립적인 특징 세트 내에서 계층적 관계를 식별하려고 시도하는데, 이는 자식 특징이 부모 특징이 활성화될 때만 활성화되어야 한다는 가정에 기반합니다. 하지만 우리는 이 조건만으로는 불충분하며, 종종 부모와 자식 개념이 의미론적으로 관련 없는 경우에도 잘못된 양성(false positives)을 생성한다는 것을 보여줍니다. 이에 대응하여, 우리는 계층적 레벨 사이에 더 깊은 기능적 연결을 강제하는 새로운 재구성 조건(reconstruction condition)을 도입합니다. 활성화 제약과 재구성 제약을 결합함으로써, 우리는 특징 세트 내부에서 계층적 구조를 직접 학습하도록 설계된 모델인 Tree SAE를 제안합니다. 우리의 결과는 Tree SAE가 계층적 쌍을 학습하는 데 있어 기존의 SAE들을 크게 능가하며, 여러 주요 벤치마크에서 최신 기술(state-of-the-art)과 경쟁할 만한 성능을 유지함을 입증합니다. 마지막으로, 우리는 대규모 언어 모델(large language models) 내에 인코딩된 복잡한 계층적 개념 구조를 밝히고 자식 특징 부분 공간의 기하학을 매핑하는 데 있어 Tree SAE의 실질적인 유용성을 보여줍니다.