LLM을 제어할 수 있을까? 사실 Sparse Autoencoders는 단순한 베이스라인보다 뛰어난 성능을 낼 수 있습니다

Sparse Autoencoders (SAEs)는 대규모 언어 모델 (LLMs)의 내부 구조를 탐색하고 모델의 출력 생성을 제어 (steering)하기 위한 유망한 방안으로 여겨져 왔습니다. Wu et al. (2025)에서 모델 제어 벤치마크인 AxBench가 소개되었을 때, SAEs는 일련의 단순한 베이스라인 (baselines)들에 비해 제어 성능이 낮아 당초의 기대에 미치지 못하는 것처럼 보였습니다. 본 연구는 Sparse Autoencoders에 대한 부분적인 반박 역할을 하며, Wu et al. (2025)의 결과가 SAEs의 역량을 온전히 보여주지 못했음을 시사합니다. 우리는 우리의 지도 학습 파이프라인 (supervised pipeline)을 통해 특징 (features)을 선택하고 레이블을 지정했을 때, SAEs가 실제로 AxBench 벤치마크에서 참조용 LoRA 성능과 거의 대등한 성능을 낼 수 있음을 발견했습니다. 또한, 우리의 파이프라인이 해석 가능성 (interpretability) 기반 구성 요소만을 사용했을 때도 식별된 레이블에 대해 놀라울 정도로 인과적 (causal)인 특징들을 선택한다는 것을 발견했습니다. 마지막으로, 우리는 높은 희소성 (high sparsity, 낮은 l0)이 해석 가능성에 기반한 성공적인 제어에 결정적이지 않을 수 있다는 증거를 제시하며, 이는 Wang et al. (2025)의 이전 연구 결과와 대조를 이룹니다.