Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
문법 교재를 활용해 저자원 언어의 기계 번역을 위한 합성 병렬 데이터를 생성하는 파이프라인을 제안합니다. LLM을 통해 문법 규칙과 예문을 추출하여 미세 조정을 수행하며, 다양한 언어 유형에서 성능 향상을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대부분의 소멸 위기 언어들은 기술적인 문법 교재가 존재함에도 불구하고, 기계 번역(Machine Translation)에 필요한 병렬 데이터(Parallel Data)가 부족한 실정입니다. 본 연구에서는 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 문법 교재로부터 문법 규칙, 예문, 어휘집을 추출하고, 이를 미세 조정(Fine-tuning)을 위한 합성 병렬 코퍼스(Synthetic Parallel Corpora)를 생성하는 파이프라인을 소개합니다. 이는 이전 연구들처럼 추론(Inference) 시점에 문법 내용을 프롬프트(Prompt)에 입력하는 방식과는 차별화됩니다. 언어 유형학적으로 다양한 세 가지 저자원 언어인 Kalamang(파푸아어족), Tuatschin(로맨스어족), Mandan(수어족)을 통해 검증한 결과, 합성 데이터로 미세 조정을 수행했을 때 Kalamang의 경우 75%, Tuatschin의 경우 59%의 설정(Configuration)에서 시드 데이터(Seed-data) 베이스라인보다 성능이 향상되었으며, 최선의 경우 ChrF++ 점수가 각각 +8.8, +5.3, +3.3 상승했습니다. 대상 품사(Part-of-speech), 검색 입도(Retrieval granularity), 샘플 양(Sample volume)을 변화시킨 96가지 설정에 대한 체계적인 요인 연구(Factorial Study)를 통해, 어떤 요인 조합이 성능 향상을 이끄는지, 그리고 어느 지점에서 성능이 저하되는지를 식별했습니다. 우리의 연구 결과는 정적인 언어 기록물(Linguistic documentation)이 기계 번역 미세 조정을 위해 재사용될 수 있음을 입증하며, 자원이 매우 부족한 언어들을 위한 번역 도구 개발을 향한 실질적인 경로를 제시합니다.