구조적 관점에서의 대규모 언어 모델 (LLMs)의 다국어 능력

대규모 언어 모델 (LLMs)은 학습 데이터에서 영어가 지배적임에도 불구하고, 다국어 데이터에 대한 사전 학습 (Pre-training) 및 사후 학습 (Post-training)을 통해 여러 언어를 처리하는 데 탁월한 성능을 보여왔습니다. 토큰 표현 (Token representations)에 초점을 맞춘 기존 연구들은 이러한 LLM들이 비영어권 텍스트를 어떻게 처리하는지 밝혀냈습니다. 이러한 분석들이 통찰력 있는 발견을 제공해 왔으나, 언어의 내재적 속성인 구조적 관점 (Structural view)을 포착하는 데는 실패했습니다. 본 연구에서는 표현 구조 분석 (Representational structural analysis)을 통해 LLM의 다국어 능력을 탐구합니다. 우리의 연구 결과는 저자원 언어 (Low-resource languages)가 고자원 및 중자원 언어보다 영어와 구조적으로 더 다르며, 언어 특화 사후 학습 (Language-specific post-training)이 언어 간 관계를 보존하면서도 그 구조를 변화시킨다는 점을 보여줍니다.