SMoA: 매개변수 효율적 미세 조정을 위한 스펙트럼 변조 어댑터 (Spectrum Modulation Adapter)

모델의 매개변수(parameter) 수가 증가함에 따라, 매개변수 효율적 미세 조정 (Parameter-Efficient Fine-Tuning, PEFT)은 사전 학습된 대규모 언어 모델 (Large Language Models, LLM)을 맞춤화하기 위한 필수적인 선택이 되었습니다. 저차원 적응 (Low-Rank Adaptation, LoRA)은 저차원 업데이트 방식을 사용하여 전체 매개변수 미세 조정을 모방하며, 자원 요구 사항을 줄이기 위해 널리 사용됩니다. 그러나 랭크 (rank)를 낮추면 표현 능력 (representational capacity)이 제한되는 문제에 직면하게 됩니다. 이론에 따르면 랭크 $r$을 사용하는 LoRA 미세 조정은 사전 학습된 가중치 행렬의 상위 $r$개 특이값 (singular values)을 향해 수렴합니다. 랭크가 증가할수록 더 많은 주요 특이 방향 (principal singular directions)이 보존되며, 이는 일반적으로 모델의 성능을 향상시킵니다. 하지만 더 큰 랭크는 더 많은 학습 가능한 매개변수를 도입하여 계산 비용을 높이는 결과를 초래합니다. 이러한 딜레마를 극복하기 위해, 우리는 더 적은 매개변수 예산 하에서 스펙트럼 인지 업데이트 (spectrum-aware updates)의 접근 가능한 범위를 확장하는 extbf{S}pectrum extbf{Mo}dulation extbf{A}dapter (SMoA)를 제안합니다. SMoA는 레이어를 여러 개의 정렬된 스펙트럼 블록 (spectral blocks)으로 분할하고, 각 대각 블록 (diagonal block)에 하나의 블록 내 하다마르 변조 저차원 분기 (in-block Hadamard-modulated low-rank branch)를 적용하여 사전 학습된 스펙트럼 방향에 대해 더 넓은 범위를 확보합니다. 우리는 이론적 분석과 다양한 작업에 대한 실증적 결과를 제공합니다. 실험에서 SMoA는 현재의 낮은 예산 설정에서 LoRA 및 경쟁력 있는 LoRA 스타일의 베이스라인 (baselines)보다 평균 성능을 향상시킵니다.