GiVA: 벡터 기반 적응을 위한 기울기 정보 활용 기저(Gradient-Informed Bases for Vector-Based Adaptation)

요약

대규모 모델 파인튜닝 시, 매개변수 효율적인 학습(PEFT) 기법이 필수적입니다. 기존 LoRA는 널리 쓰이지만, 벡터 기반 적응 방식은 극도의 효율성을 자랑하는 반면 높은 랭크 요구치 때문에 비용 문제가 있었습니다. 본 논문에서 제안하는 GiVA (Gradient-Informed Bases for Vector-Based Adaptation)는 기울기 정보를 활용하여 이 문제를 해결했습니다. LoRA와 유사한 학습 시간을 유지하면서도 벡터 기반 적응의 초고효율성을 달성하며, 기존 방식 대비 랭크 요구치를 최대 8배까지 줄여 성능과

핵심 포인트

• GiVA는 기울기 정보(gradient-based)를 활용하여 벡터 기반 적응 방식을 개선한 새로운 방법론입니다.
• LoRA와 유사한 학습 시간을 유지하면서도 벡터 기반 적응의 극단적인 매개변수 효율성을 달성했습니다.
• 실험 결과, GiVA는 기존 벡터 기반 방식 및 LoRA 대비 성능을 유지하거나 능가하는 동시에 랭크 요구치를 최대 8배까지 감소시켰습니다.