전통적인 태거에서 LLM까지: 중세 로망스 언어의 품사 태깅 비교 연구

요약

본 논문은 중세 오키탄어, 카탈루냐어, 프랑스어 등 세 가지 중세 로망스 언어에 대한 품사(POS) 태깅의 어려움을 다루며, 전통적인 규칙 기반/통계적 태거와 최신 LLM을 비교 평가합니다. 연구는 제로샷, 퓨샷 프롬프팅, 파인튜닝, 교차 언어 전이 학습 등 다양한 환경에서 실험한 결과, LLM 기반 접근 방식이 우수한 성능을 보였음을 입증했습니다. 특히 자원이 부족한 방언에 대한 교차 언어 전이 학습과 표적화된 이중 언어 훈련의 효과가 강조되며, 이는 역사적 NLP 연구를 위한 실질적인 지침을 제공합니다.

핵심 포인트

• LLM 기반 접근 방식은 중세 로망스 언어 POS 태깅에서 전통적인 방법론보다 일관되게 우수한 성능을 보인다.
• 파인튜닝과 다국어 훈련(multilingual training)이 LLM의 성능 개선에 가장 큰 영향을 미친다.
• 교차 언어 전이 학습은 자원이 부족한 중세 방언 처리에서 매우 효과적인 전략이다.
• 최적의 전이 전략은 단순히 광범위한 다국어 훈련보다는 언어학적 근접성을 고려한 표적화된 이중 언어 훈련일 수 있다.