유사한 의미가 다른 경우: 아랍어-히브리어 동족어를 활용한 대규모 언어 모델(LLMs) 평가

요약

본 논문은 아랍어와 히브리어 같은 동족어 언어를 활용한 LLM의 교차 언어 의미 이해 능력을 평가하는 새로운 벤치마크인 SemCog Bench를 소개합니다. 이 벤치마크는 진정한 동족어, 가짜 친구, 차용어 쌍을 포함하며, 오픈 소스 및 상용 LLMs의 성능을 분석했습니다. 연구 결과, 모델들은 형태 유사성에 과도하게 의존하여 교차 언어 추론에서 결정적인 한계를 보였습니다.

핵심 포인트

• SemCog Bench는 아랍어-히브리어 동족어를 활용한 새로운 평가 벤치마크입니다.
• LLMs는 형태 유사성에 강하게 의존하며, 가짜 친구와 차용어에서 성능이 급격히 저하됩니다.
• 문장 수준의 문맥은 오해를 불러일으키는 형태 기반 신호를 극복하기에 불충분합니다.