Sparse Autoencoders를 이용한 ASR 모델의 기계론적 해석 가능성 (Mechanistic Interpretability)

요약

본 연구는 Sparse Autoencoders (SAE)를 Transformer 기반 ASR 모델인 Whisper에 적용하여 그 내부 작동 원리를 해석하는 방법을 제시합니다. SAE를 통해 Whisper 인코더에서 추출된 프레임 수준 임베딩을 학습시켜 고차원 희소 잠재 공간을 구축했습니다. 이를 통해 연구진은 언어적 및 비언어적 경계를 아우르는 다양한 단일 의미 특징과 교차 언어 특징 제어를 성공적으로 입증하며, SAE가 ASR 모델 해석에 효과적임을 보여주었습니다.

핵심 포인트

• SAE는 딥러닝 모델의 내부 메커니즘을 이해하는 데 사용되는 기술이다.
• 기존 연구는 LLM에 SAE를 적용했으나, ASR 모델에는 아직 적용된 사례가 부족했다.
• 본 연구에서는 Whisper라는 Transformer 기반 ASR에 SAE를 성공적으로 적용하여 임베딩을 학습시켰다.
• SAE 분석 결과, 언어적/비언어적 단일 의미 특징과 교차 언어 특징 제어가 가능함을 입증하였다.