언어 모델의 희소 특징(Sparse Features)을 이용한 언어에 대한 뇌 반응 해석

요약

본 연구는 Sparse Autoencoder(SAE)를 활용하여 언어 모델의 은닉 상태를 해석 가능한 희소 특징으로 변환하고, 이를 인간의 뇌 반응(fMRI)과 연결하는 프레임워크를 제안합니다. 연구 결과, 뇌의 언어 네트워크는 언어 모델이 인코딩하는 일반적인 정보와 유의미한 대응 관계를 보임을 입증했습니다.

핵심 포인트

• SAE를 이용해 밀집된 LM 은닉 상태를 해석 가능한 희소 특징으로 대체
• 7T fMRI 데이터를 통해 모델-뇌 정렬의 유효성 검증
• 뇌 반응은 LM의 임의적 특징이 아닌 일반적인 정보 특징에 의해 설명됨
• 전두엽 지역은 LM 특징 없이 Surprisal만으로도 비교적 잘 설명됨