희소 오토인코더 (Sparse Autoencoders, SAEs)는 언어 모델의 활성화 (activations)를 희소 특징 (sparse features)으로 분해하지만, 표준 SAEs는 각 토큰을 독립적으로 인코딩하며 시퀀스 전반에 걸쳐 지속되는 정보를 드러내지 못합니다. 우리는 각 특징에 대한 지속 계수 (persistence coefficient)를 학습함으로써 표준 SAEs를 확장하여, 모델이 어떤 특징이 지속되어야 하는지 그리고 얼마나 오래 지속되어야 하는지를 학습할 수 있도록 하는 지속적 희소 오토인코더 (Persistent Sparse Autoencoders, Persistent SAEs)를 소개합니다. 우리의 실험 결과에 따르면, 이들은 경쟁력 있는 재구성 품질 (reconstruction quality)을 유지하면서 특징 시간 척도 (feature timescales)의 스펙트럼을 학습함을 보여줍니다. 즉, 빠른 특징 (fast features)은 국소적으로 해석 가능한 탐지기 (locally interpretable detectors)처럼 동작하는 반면, 느린 특징 (slow features)은 주제 수준의 정보를 지속적인 상태 (persistent state)로 집중시킵니다. 또한, 프롬프트 주입 (prompt-injection) 모니터링 사례 연구에서 보여주었듯이, 느린 특징은 탐지 신호를 보존하며 긴 컨텍스트 (long contexts)에 걸쳐 인과적으로 효과적인 상태를 유지합니다. 이러한 결과는 Persistent SAEs가 지속적인 의미론적 표현 (persistent semantic representations)을 통해 언어 모델을 해석하고 모니터링할 수 있는 새로운 기회를 열어준다는 것을 시사합니다.