대규모 언어 모델(LLM)의 중국어 중의성 이해 능력 평가

요약

본 연구는 기존 중국어 중의성 데이터셋의 확장성 문제를 해결하기 위해 잠재적 중의성(PA) 이론에 기반한 새로운 데이터셋인 CHA-Gen을 구축했습니다. Gemma 3, Qwen 2.5/3 등 주요 LLM을 평가한 결과, 모델들이 중의성 탐지에 어려움을 겪으며 특정 실패 모드와 편향성을 보인다는 점을 확인했습니다. 또한, 지시어 튜닝이 모델의 과잉 확신을 유발할 수 있음을 밝히며 LLM의 중국어 중의성 처리 능력에 대한 중요한 통찰을 제공합니다.

핵심 포인트

• PA 이론을 기반으로 18개 구조, 5,712개 문장으로 구성된 확장 가능한 중국어 중의성 데이터셋 CHA-Gen 구축
• LLM의 주요 실패 모드로 중의성 맹목(ambiguity blindness), 잘못된 귀인(misattribution), 성급한 해결(premature resolution) 발견
• CoT(Chain of Thought) 프롬프팅을 통한 중의성 탐지 능력 개선 확인
• 지시어 튜닝(instruction tuning)이 모델의 과잉 확신을 유발하는 반면, 베이스 모델은 의미론적 다양성을 더 잘 포착함
• 모델들이 지배적인 해석에 편향되는 경향이 있으며, 의미론적 엔트로피를 통해 중의적 문장의 불확실성 정량화 가능