Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 희소 자동 인코더(SAEs)의 재현성 문제를 해결하기 위해 일관성 있는 희소 딕셔너리 학습(ConSDL)을 제안합니다. ConSDL은 표준 선형 인코더를 샘플별 최적화로 대체하여, 단일 패스보다 신뢰도 높은 딕셔너리와 계수를 복구하는 것을 목표로 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기희소 자동 인코더(Sparse autoencoders, SAEs)는 활성화 값들을 학습된 딕셔너리 원자들(dictionary atoms)의 희소 조합으로 분해하여 파운데이션 모델(foundation model) 표현을 설명합니다. 하지만, 학습된 딕셔너리는 트레이닝 실행마다 달라질 수 있어, SAE 기반 분석의 신뢰성과 재현성을 제한하는 요인이 됩니다. 이에 우리는 일관성 있는 희소 딕셔너리 학습(Consistent Sparse Dictionary Learning, ConSDL)을 제안하며, 표준 선형 인코더를 샘플별 희소 코딩으로 대체합니다. 이는 단일 선형 인코더 패스에서 얻은 계수들이 샘플별 최적화로 얻은 것보다 최적이 아님을 보여준 합성 분석(synthetic analysis)에 의해 동기 부여되었습니다. 이 결과는 희소 코딩이 딕셔너리 학습의 신뢰할 수 있는 메커니즘임을 시사합니다. 16가지 합성 설정에서, ConSDL은 거의 완벽한 딕셔너리와 계수 복구율을 달성했습니다. 이러한 개선점들은 네 가지 비전 및 언어 설정(vision and language settings)에 걸쳐 최고 수준의 크로스-시드 일관성(cross-seed consistency)으로 이어지며, ConSDL은 평균 여섯 가지 SAE 베이스라인 대비 딕셔너리 일관성을 17.6%, 계수 일관성을 35.9% 향상시킵니다.