BaRA: 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning)을 위한 베이지안 적응형 랭크

저차원 적응 (Low-rank adaptation, LoRA)은 작업별 업데이트를 고정된 저차원 부분 공간 (low-rank subspaces)으로 제한함으로써 매우 효율적인 미세 조정 (fine-tuning)을 가능하게 하지만, 이러한 경직된 설계는 표현의 유연성을 제한하며 특히 데이터가 적은 환경 (low-data regimes)에서 과도하게 확신하는 예측과 잘못 보정된 불확실성 (miscalibrated uncertainty)을 초래하는 경우가 많습니다. 최근의 베이지안 LoRA 변형 모델들은 적응 매개변수 (adaptation parameters)에 대한 사후 분포 (posterior distributions)를 모델링함으로써 불확실성 추정 (uncertainty estimation)을 개선합니다. 그러나 이러한 접근 방식은 일반적으로 고정되거나 휴리스틱하게 결정된 랭크 (ranks)에 의존하며, 적응 용량 (adaptation capacity)의 본질적인 문맥 의존적 (context-dependent) 특성을 간과합니다. 본 논문에서는 매개변수 효율적 미세 조정 (parameter-efficient fine-tuning)을 위한 베이지안 적응형 랭크 할당 (Bayesian Adaptive Rank Allocation) 프레임워크인 BaRA를 제안합니다. 확률적 토픽 모델 (probabilistic topic models)에서 영감을 얻은 BaRA는 얽히지 않은 잠재 요인 (disentangled latent factors)의 희소하고 문맥 의존적인 하위 집합을 활성화함으로써 적응 용량을 동적으로 할당하며, 이를 통해 유효 랭크 (effective rank)의 인스턴스별 변동을 가능하게 합니다. 이러한 베이지안 정식화 (Bayesian formulation)는 원칙적이고 데이터 기반의 용량 제어를 제공하여, 표현력 (expressiveness)을 유지하면서도 과잉 매개변수화 (over-parameterization)를 완화합니다. 모델링 측면의 기여 외에도, 우리는 BaRA의 일반화 간극 (generalization gap)이 최대 랭크 $r$이 아니라 글로벌-로컬 게이트 (global-local gate)에 의해 유도된 학습된 결합 유효 랭크 $\bar{s}_{Φ,θ}$에 의존함을 보여주는 복잡도 이론적 일반화 분석 (complexity-theoretic generalization analysis)을 제공합니다. 이 결과는 왜 희소 적응형 랭크 할당 (sparse adaptive rank allocation)이 입력 의존적 표현력을 유지하면서도 유효 가설 복잡도 (effective hypothesis complexity)를 줄일 수 있는지를 설명합니다. 다양한 자연어 벤치마크에 대한 광범위한 실험을 통해 BaRA가 표준 LoRA 및 기존의 베이지안 LoRA 변형 모델들과 비교하여 예측 성능, 강건성 (robustness) 및 불확실성 보정 (uncertainty calibration)을 일관되게 향상시킨다는 것을 입증합니다.