손상된 언어 모델에서의 인공 실어증 연구

요약

본 연구는 뇌 손상으로 인한 실어증 개념을 응용하여 언어 모델(LMs)의 내부 언어 기능 조직을 분석하는 새로운 기법을 제안합니다. 모델 파라미터를 의도적으로 손상시켜 나타나는 증상을 임상적 실어증 지표로 측정하였으며, 그 결과 모델의 구성 요소와 레이어 깊이에 따라 서로 다른 언어적 결함이 나타남을 확인했습니다.

핵심 포인트

• 언어 모델의 파라미터를 zero-out 하여 실어증 증상을 유도하는 '실어증 영감 기법'을 도입함
• 어텐션(Attention) 구성 요소와 피드포워드(Feed-forward) 구성 요소 간에 광범위한 증상 프로필 차이가 존재함
• 초기 레이어 손상은 통사적·의미적 증상을, 후기-중기 레이어 손상은 음운론적·유창성 결함을 주로 유발함
• 언어 모델의 증상 분포는 인간의 실어증 분포와 질적으로 다르며, 이는 언어 처리 방식의 차이를 시사함