LLM은 중국어 영생략(Zero Pronouns)에 대해 얼마나 알고 있는가?

영생략 (Zero Pronouns, ZPs)은 중국어와 같은 탈락 언어 (pro-drop languages)에서 만연하게 나타나는 언어적 현상이며, 오랫동안 자연어 처리 (NLP) 시스템에 도전 과제가 되어 왔습니다. 거대 언어 모델 (Large Language Models, LLMs)은 많은 중국어 작업에서 우수한 성능을 보이지만, ZPs를 처리하는 능력은 여전히 제대로 파악되지 않은 상태입니다. 우리는 식별 (identification), 지시성 분류 (referentiality classification), 지시 유형 분류 (referential type classification), 해소 (resolution), 그리고 번역 (translation)을 포함하여 언어학적 동기에 기반한 일련의 작업들을 통해 LLM의 중국어 ZPs 처리 능력을 체계적으로 조사합니다. 모든 작업에 걸쳐 다양한 LLM 세트를 평가했습니다. 연구 결과, 중국어 ZPs는 현재의 LLM에게 여전히 매우 어려운 과제이며, 특히 식별 및 지시성 분류와 같은 상류 작업 (upstream tasks)에서 그러합니다. ZP 번역과 같은 하류 작업 (downstream tasks)에서의 성능 또한 일관되게 낮게 나타났습니다. 최첨단 추론 중심 LLM조차 중국어 ZPs의 절반 미만만을 영어로 올바르게 번역합니다.