하나의 어댑터가 여럿을 대변할 때: 지속적 미세 조정(Continual Fine-Tuning)에서의 저차원 중복성 발견

저차원 적응 (Low-Rank Adaptation (LoRA))은 대규모 사전 학습된 모델의 매개변수 효율적 미세 조정 (parameter-efficient fine-tuning)을 위한 표준 도구가 되었습니다. 지속적 학습 (Continual Learning (CL)) 환경에서 여러 태스크에 걸쳐 순차적으로 적용될 때, 표준적인 가정은 각 새로운 태스크마다 전용 저차원 어댑터가 필요하다는 것입니다. 본 연구에서는 이러한 가정을 경험적 및 구조적으로 검증합니다. 우리는 CL에서의 태스크별 LoRA 어댑터가 상당한 저차원 중복성 (low-rank redundancy)을 보인다는 것을 보여줍니다. 즉, 서로 다른 태스크에서 학습된 어댑터들이 생성하는 부분 공간 (subspaces)은 실질적으로 겹치며, 많은 경우 초기 어댑터가 이후의 태스크를 충실히 표현할 수 있습니다. 이러한 관찰을 바탕으로, 우리는 학습 시점에 새로운 어댑터를 채택할지 아니면 기존의 저차원 표현을 재사용할지를 학습하는 플러그 앤 플레이 (plug-and-play) 게이팅 메커니즘인 LiteLoRA를 제안합니다. 우리의 방법은 표준 CL 벤치마크에서 최첨단 (state-of-the-art) 성능과 대등하거나 이를 능가하면서도 활성 어댑터의 수를 20-70% 감소시키며, 구조적 중복성이 만연해 있다는 점과 가소성 (plasticity)을 희생하지 않고도 안정성을 달성하기 위해 선택적 학습만으로 충분하다는 것을 밝혀냅니다.