모델 크기가 계속 커짐에 따라, 파라미터 효율적 미세 조정(parameter-efficient fine-tuning)이 전체 미세 조정(full fine-tuning)의 강력한 대안으로 부상했습니다. LoRA가 이러한 방법들 사이에서 널리 채택되고 있지만, 최근 연구에서는 극도의 파라미터 효율성 때문에 벡터 기반 적응(vector-based adaptation) 방법을 탐구해 왔습니다. 그러나 이러한 방법들은 일반적으로 LoRA와 성능을 맞추기 위해 훨씬 더 높은 랭크(rank)를 요구하여 훈련 비용이 증가하는 경향이 있습니다. 본 논문에서는 벡터 기반 적응을 위한 기울기 기반 초기화 전략인 GiVA를 소개합니다. GiVA는 LoRA와 유사한 훈련 시간을 달성하면서도, 벡터 기반 적응의 극도의 파라미터 효율성을 유지합니다. 우리는 자연어 이해(natural language understanding), 자연어 생성(natural language generation), 이미지 분류(image classification)를 포함하는 다양한 벤치마크에서 GiVA를 평가했습니다. 실험 결과에 따르면, 저희 접근 방식은 기존 벡터 기반 적응 방법 및 LoRA와 비교하여 일관되게 우수한 성능을 보이거나 경쟁할 수 있는 수준의 성능을 달성하면서도, 랭크 요구 사항을 여덟 배($8 imes$) 감소시키는 것으로 나타났습니다.