터키어계 저자 자문 언어인 바슈키르어를 위한 대규모 언어 모델 적응: LoRA 와 QLoRA 의 비교 연구

본 논문은 터키어족의 저자 자문 (agglutinative) 언어인 바슈키르어 (Bashkir) 에 대한 대규모 언어 모델의 적응을 수행하기 위해 파라미터 효율적 미세 조정 (PEFT, Parameter-Efficient Fine-Tuning) 방법인 LoRA 와 QLoRA 를 비교 연구합니다.

실험 평가는 71k 문서 (46.9M 토큰) 의 바슈키르어 텍스트 코퍼스에서 수행되었으며, 다양한 아키텍처의 모델을 사용했습니다: DistilGPT2, GPT-2 (base, medium), Phi-2, Qwen2.5-7B, DeepSeek-7B, 그리고 Mistral-7B 입니다.

결과 신뢰성을 높이기 위해 각 구성은 세 가지 다른 랜덤 시드 (random seeds) 로 훈련되었습니다.

테스트 세트에서 가장 낮은 퍼플렉시티 (perplexity) 는 GPT-2 medium 의 전체 미세 조정 (full fine-tuning, 3.34) 으로 얻어졌습니다. 반면, Mistral-7B 에 적용된 QLoRA (3.79) 와 Phi-2 에 적용된 QLoRA (3.81) 는 훈련 가능한 파라미터가 40 배 이상 적음에도 불구하고 비교 가능한 품질을 달성했습니다.

그러나 특정 아키텍처를 PEFT 로 사용할 때 유의미한 품질 저하 사례도 관찰되었습니다 (예: rank 8 의 DeepSeek-7B, 퍼플렉시티 = 129.55). 이는 결과가 기본 모델과 토크나이저의 선택에 크게 의존함을 시사합니다.

또한 바슈키르어 프롬프트를 기반으로 생성된 텍스트의 질적 분석은 퍼플렉시티가 가장 낮은 모델이 반드시 가장 일관된 출력을 생성하지는 않음을 보여줍니다: QLoRA 미세 조정 모델은 단언어 바슈키르어 연속 (monolingual Bashkir continuations) 을 생성했으나, 가장 낮은 퍼플렉시티를 가진 전체 미세 조정 모델은 영어로 전환하는 경우가 빈번했습니다.

결과들은 7B 규모 모델에서 QLoRA 가 품질과 계산 비용 간의 효과적인 절충안을 제공함을 시사합니다. 재현성을 보장하기 위해 오픈 데이터, 코드 및 훈련된 어댑터는 수용 시에 공개될 예정입니다.