LLM은 룩셈부르크어가 무엇을 차용하는지 알고 있는가? 저자원 다국어 모델에서의 어휘적 신조어 탐색
요약
본 연구는 저자원 다국어 모델이 룩셈부르크어의 어휘 차용 및 신조어 패턴을 얼마나 잘 이해하는지 평가하기 위해 LexNeo-Bench 벤치마크를 제안합니다. 실험 결과, 외부 문맥 없이 LLM의 차용 분류 성능은 낮았으나, 언어 지식 그래프를 프롬프트에 주입하는 어휘 인지 프롬프팅을 통해 성능을 대폭 향상시킬 수 있음을 확인했습니다.
핵심 포인트
- 룩셈부르크어의 어휘 차용 및 신조어 탐지를 위한 토큰 수준 벤치마크인 LexNeo-Bench를 소개함
- 단순 프롬프트 사용 시 LLM의 차용 분류 성능은 확률 수준에 머무름
- 언어 지식 그래프를 활용한 어휘 인지 프롬프팅이 분류 정확도를 71~81%까지 크게 개선함
- 신조어 탐지는 여전히 어려운 과제이며 퓨샷(few-shot) 설계에 민감하게 반응함
- 구조화된 어휘 문맥(structured context)이 저자원 언어 모델 평가에 유용함을 입증함
대규모 언어 모델 (LLMs)은 소수 접촉 언어 (small contact languages)의 작문 보조 도구로 점점 더 많이 사용되고 있지만, 이 모델들이 어휘 차용 (lexical borrowing) 및 신조어 (neology)에 관한 커뮤니티 규범을 준수하는지는 불분명합니다. 우리는 대규모 룩셈부르크어 뉴스 코퍼스인 LuxBorrow에서 파생된 3,050개의 인스턴스로 구성된 토큰 수준 벤치마크인 LexNeo-Bench를 소개합니다. 여기서 대상 토큰은 고유어(native) 또는 프랑스어, 독일어, 영어 차용어로 라벨링되어 있습니다. 이 벤치마크를 사용하여, 우리는 두 가지 작업인 차용 유형 분류 (borrowing type classification)와 이진 어휘 혁신 프록시 (binary lexical-innovation proxy; 차용 대 고유어)에 대해 34가지 프롬프트 설정에서 세 가지 다국어 LLM을 조사합니다. 외부 문맥 없이 모델은 차용 분류에서 확률(chance)을 약간 상회하는 수준의 성능만을 보입니다. 따라서 우리는 공여 언어 (donor language), 형태론적 패턴 (morphological patterns), 어휘적 유사어 (lexical analogues)를 인코딩하는 언어 지식 그래프 (linguistic knowledge graph)를 구축하고, 인스턴스별 서브그래프 (subgraphs)를 프롬프트에 주입합니다. 지식 그래프 프롬프트는 차용 분류 정확도를 2535%에서 7181%까지 높이며, 소형 모델과 대형 모델 사이의 격차를 크게 좁히는 반면, 신조어 탐지 (neology detection)는 여전히 어렵고 퓨샷 (few-shot) 설계에 민감하게 반응하도록 남겨둡니다. 우리의 연구 결과는 어휘 인지 프롬프팅 (lexicon-aware prompting)이 저자원 접촉 언어에서 견고한 차용 판단을 내리는 데 매우 유익하며, 어휘 자원이 LLM 평가를 위한 구조화된 문맥 (structured context) 역할을 할 수 있음을 보여줍니다. 본 연구는 ENEOLI COST Action 내에서 수행되었으며, 다국어 룩셈부르크어 데이터에서 어휘 혁신의 한 형태로서의 차용을 조사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기