Phun-Bench: 중국어 음운 이해에 대한 LLM 평가

언어는 사고를 전달하는 매개체이며, 소리, 기호, 그리고 의미와 복잡하게 얽혀 있습니다. 그러나 대부분의 거대 언어 모델 (LLM) 연구는 의미 (Semantics)와 기호 (Spelling)에 집중하는 반면, 소리는 크게 간과하고 있습니다. LLM의 음운 능력 (Phonological abilities)에 관한 기존의 벤치마크들은 단순 암기를 통해 해결 가능하거나 다른 능력들과 뒤섞여 있어, 음운 이해 (Phonological understanding)에 대한 LLM의 진정한 능력을 측정하기에는 부적절합니다. 본 연구에서는 LLM의 음운 이해를 체계적으로 평가하기 위해 설계된, 세 가지 차원(동음이의어 (Homophony), 압운 (Rhyme), 음성 유사성 (Phonetic Similarity))에 걸친 다양한 작업과 설정을 포함하는 중국어 전용 벤치마크인 Phun-Bench를 제시합니다. 연구 결과에 따르면, LLM은 정확한 발음을 회상하는 데는 뛰어나지만, 인간 화자가 하는 것처럼 유연하고 직관적인 방식으로 음운 지식을 활용하는 데에는 일반적으로 어려움을 겪는 것으로 나타났습니다. 또한, 상세한 분석을 통해 우리는 LLM의 음운 이해 및 "지각 (Perception)"의 기저 메커니즘에 관한 가설을 제안하며, 이는 향후 연구를 위해 아직 충분히 탐구되지 않은 영역임을 강조합니다.