학습-망각 트레이드오프 완화를 위한 LoRA 어댑터 용량 활용 극대화

요약

LoRA는 지속적인 학습 환경에서 성능 저하(망각)를 겪으며, 이는 어댑터의 용량 활용 부족이 원인입니다. 본 연구는 목적 함수에 Rényi-2 유효 랭크 정규화항을 추가하여 어댑터의 유효 랭크 최대화를 목표로 하는 새로운 학습 메커니즘을 제안합니다. 이 방법은 LoRA 기반 파라미터 효율적 미세 조정의 성능과 안정성을 크게 개선했습니다.

핵심 포인트

• LoRA는 지속적인 학습 환경에서 학습-망각 트레이드오프를 겪음.
• Rényi-2 유효 랭크 정규화항을 도입하여 어댑터의 용량 활용 극대화를 시도함.
• 제안된 방법은 LoRA 기반 파인튜닝의 성능과 안정성을 향상시킴.
• 유효 랭크는 단순히 진단 지표가 아닌, 학습-망각 경계를 개선하는 목적 함수임.