불안정한 특징과 재현 가능한 부분 공간: 희소 자동 인코더의 시드 의존성 이해

희소 자동 인코더(Sparse autoencoders, SAEs)는 신경망 표현을 해석하는 데 널리 사용되지만, 그 유용성은 학습된 특징이 훈련 실행 전반에 걸쳐 재현 가능한지에 달려 있습니다. 우리는 extit{특징 안정성(feature stability)}을 통해 이 질문을 연구합니다. 각 SAE 특징에 대해, 독립적으로 훈련된 SAE에서 유사한 특징이 다시 나타날 확률을 추정합니다. 이는 안정적인 특징과 불안정한 특징을 분리하는 확장 가능한 특징별 신호를 제공합니다. 시드, 모델, 레이어, 사전 크기 및 SAE 변형 전반에 걸친 대규모 연구를 통해, 우리는 뚜렷한 기능적 비대칭성을 발견했습니다: 안정적인 특징이 재구성 및 예측과 관련된 대부분의 신호를 지니는 반면, 불안정한 특징은 활성화 통계와 자동 설명 모두에서 미미한 주변 영향을 가지며 저주파 표면 형태 트리거에 의해 지배됩니다. 기하학적으로, 불안정한 특징은 개별적으로 비재현적이지만 재현 가능한 낮은 랭크 부분 공간에 집중되어 있어, 시드 의존성이 순수한 노이즈라기보다는 활성화 공간의 공유 영역 내에서의 기저(basis) 모호성을 반영함을 시사합니다. 제어된 합성 모델은 이 메커니즘을 명시적으로 만들어내며, 낮은 랭크의 참값 특징들이 부분 공간 수준에서는 복구될 수 있지만, 시드 전반에 걸쳐 개별 SAE 잠재 변수로는 식별되지 않음을 보여줍니다. 마지막으로, 고유한 크로스-시드 특징들을 풀링하여, 이 설정에서 설명된 분산을 보존하면서 더 안정적인 SAE를 구성합니다. 종합적으로, 이러한 결과들은 불안정한 특징들이 단순히 실패했거나 노이즈가 많은 잠재 변수가 아님을 보여줍니다: 그것들은 개별적인 기능적 영향은 미약하지만, 표준 SAE가 시드 전반에 걸쳐 다르게 해결하는 재현 가능한 저차원 구조를 반영합니다.