SoftSAE: Dynamic Top-K Selection for Adaptive Sparse Autoencoders

요약

SoftSAE는 Large Language Models(LLMs) 및 Vision Transformers(ViTs)의 내부 표현을 분석하는 데 사용되는 Sparse Autoencoder (SAEs)의 한계를 개선한 모델입니다. 기존 Top-K SAE가 모든 입력에 고정된 희소성 수준(K)을 강제하여 데이터의 다양한 복잡성을 반영하지 못했던 문제를 해결하기 위해, SoftSAE는 입력에 따라 최적의 활성 특징 수 k를 동적으로 선택하는 메커니즘을 도입했습니다. 이를 통해 모델은 각 입력의 정보량과 구조에 가장 적합한 표현력을 갖추게 되어 해석 가능성과 성능이 향상됩니다.

핵심 포인트

• SAEs는 LLMs/ViTs의 내부 표현 분석(mechanistic interpretability)에 중요한 도구이다.
• 기존 Top-K SAE는 모든 입력에 고정된 희소성 수준을 적용하여 데이터의 변화하는 복잡성을 반영하지 못한다.
• SoftSAE는 미분 가능한 Soft Top-K 연산자를 사용하여 입력 의존적인 동적 희소성 선택 메커니즘을 구현했다.
• 이 접근 방식은 모델이 각 입력의 정보량에 맞춰 최적의 활성 특징 수를 조정하게 하여 표현력을 높인다.