손상된 언어 모델에서의 인공 실어증 연구

뇌 손상으로 인해 발생할 수 있는 선택적 언어 장애인 실어증 (Aphasias)은 손상된 뇌 영역과 특정 증상 프로필 사이의 인과 관계를 제공함으로써 인간 언어의 기능적 조직을 드러냅니다. 이러한 문헌을 바탕으로, 우리는 언어 모델 (LMs)의 창발적 언어 기능 조직을 특징짓기 위한 실어증 영감 기법 (aphasia-inspired technique)을 소개합니다. 우리는 모델 파라미터를 "손상" (zero-out) 시키고, Text Aphasia Battery (TAB)에 의해 진단된 임상적 실어증 증상에 대해 이러한 개입의 효과를 측정합니다. 5개의 1B 규모 언어 모델 (LMs)에서 생성된 112,426개의 출력값에 이 방법을 적용했을 때, 평가된 모든 범위의 증상이 나타났으나, 인간의 분포와는 크게 다른 분포를 보였습니다. 우리의 방법은 어텐션 구성 요소 (attention components: query, key, value, output)와 피드포워드 구성 요소 (feed-forward components: up, gate, down) 사이의 광범위한 증상 프로필 차이를 밝혀냈으며, 동일한 메커니즘 내의 구성 요소 간 차이에 대해서는 증거가 더 약하게 나타났습니다. 또한 우리는 깊이 (depth)의 효과를 발견했는데, 초기 레이어 (early layers)에서의 손상은 통사적 (syntactic) 및 의미적 (semantic) 증상을 불균형적으로 유발하는 반면, 후기-중기 레이어 (late-middle layers)는 음운론적 (phonological) 및 유창성 (fluency) 결함의 더 높은 비율을 생성했습니다. 일부 언어 모델 (LM) 손상이 다른 경우보다 일부 인간 실어증 유형과 정량적으로 더 유사한 프로필을 유도하기도 하지만, 언어 모델 (LMs)과 인간 사이의 증상 패턴에서 나타나는 질적 차이는 실어증 증후군이 언어 처리 중단에 따른 도메인 불변적 (domain-invariant) 결과라기보다는 학습 및 처리의 세부 사항에 의해 크게 영향을 받는다는 것을 시사합니다.