어떤 LoRA를 사용할 것인가? 다국어 지시어 튜닝 (Multilingual Instruction Tuning) 중 LoRA 기법의 효과성에

요약

다국어 지시어 튜닝 시 다양한 LoRA 변형 기법이 기본 LoRA보다 우수한지 실험했습니다. 연구 결과, 복잡한 LoRA 변형이 교차 언어 전이와 지식 유지 측면에서 기본 LoRA 대비 유의미한 이점을 제공하지 않음을 확인했습니다.

핵심 포인트

• 다양한 LoRA 변형 기법과 기본 LoRA의 성능 비교
• 복잡한 LoRA 변형이 다국어 튜닝에서 반드시 유리하지 않음
• 레이어별 언어 표현은 LoRA 기법에 관계없이 유사하게 유지됨
• LoRA의 구조적 차이가 교차 언어 적응력에 큰 영향을 주지 않음