시리아어 텍스트 생성을 위한 대규모 언어 모델의 파라미터 효율적 미세 조정 벤치마킹

요약

본 논문은 키릴 문자를 사용하는 저자원 언어인 시리아어(Tajik)를 위한 생성형 대규모 언어 모델(LLM) 적응 방안을 제시합니다. 연구진은 31만 건의 문서로 구성된 시리아어 웹 코퍼스를 구축하고, 전체 미세 조정, LoRA, QLoRA 등 다양한 PEFT 전략을 적용하여 성능을 비교 분석했습니다. 그 결과, Mistral 7B 모델에 QLoRA(r=16)를 적용했을 때 가장 우수한 성능(평균 퍼플렉시티 5.03)을 달성했으며, 이는 계산 효율성과 품질 유지 측면에서 실질적인 가치를 제공함을 입증했습니다.

핵심 포인트

• 저자원 언어(시리아어/Tajik)를 위한 대규모 오픈 코퍼스 구축 및 공개 (319,298개 문서).
• 다양한 PEFT 기법(LoRA, QLoRA 등)을 사용하여 시리아어 텍스트 생성 모델의 효율성을 체계적으로 비교 분석함.
• Mistral 7B와 QLoRA(r=16) 조합이 가장 낮은 퍼플렉시티를 기록하며 최적의 성능과 계산 효율성을 보여줌.
• 전체 미세 조정은 작은 모델에서 우수할 수 있으나 재앙적 망각 위험이 있으며, PEFT 전략 선택 시 신중한 접근이 필요함.