Compress Then Adapt? No, Do It Together via Task-aware Union of Subspaces

대규모 사전 학습 모델 (pretrained models) 을 다양한 작업에 적응시키는 것은 이제 일상적이 되었으나, 파라미터 효율적 미세 조정 (PEFT: Parameter-Efficient Fine-Tuning) 과 저랭크 압축 (low-rank compression) 이 두 가지 지배적인 전략은 일반적으로 순차적으로 구성된다. 이러한 분리된 접근법은 먼저 압축을 수행한 후 어댑터 (adapter) 를 미세 조정하며, 이는 압축된 서브스페이스 (subspace) 가 하류 목표 (downstream objectives) 와 불일치할 위험이 있으며 전역 파라미터 예산 (global parameter budget) 을 낭비할 수 있다. 이러한 한계를 극복하기 위해 우리는 JACTUS (Joint Adaptation and Compression with a Task-aware Union of Subspaces: 압축과 적응을 통합하는 작업 인식 서브스페이스의 연산) 를 소개한다. JACTUS 는 단일 프레임워크로 압축과 적응을 통합한다. 작은 교정 세트 (calibration set) 에서 입력 및 사전 활성화 (pre-activation) 기울기 공분산 (gradient covariances) 을 추정하고, 이들을 사전 학습된 중량 서브스페이스 (weight subspace) 와 직교 연산 (orthogonal union) 을 형성하며, 이 내부에서 투영 저랭크 근사 (projected low-rank approximation) 를 수행한다. 또한 매 파라미터당 마진 수익 (marginal gain per parameter) 으로 전역 랭크 할당 (rank allocation) 을 하고, 컴팩트 코어 행렬 (compact core matrix) 만 훈련한다. 이는 압축된 서브스페이스와 하류 목표 사이의 잠재적 불일치를 완화하며, 압축을 위해 보존되는 방향과 적응에 필요한 방향을 결합하여 전역 고정 중량 (full frozen weights) 을 유지하지 않으면서 빠른 튜닝이 가능하고 견고한 저랭크 모델을 생성한다. 시각 (vision) 영역에서 JACTUS 는 80% 유지된 파라미터로 ViT-Base 에서 8 개의 데이터셋에 걸쳐 평균 89.2% 정확도를 달성하며, 강력한 100% PEFT 베이스라인 (예: DoRA 87.9%) 을 능가한다. 언어 (language) 영역에서 JACTUS 는 동일한 80% 유지된 파라미터 예산으로 Llama2-7B commonsense QA 에서 평균 80.9% 를 달성하며, 100% PEFT (예: DoRA 79.7%) 을 능가하고 동일한 유지된 파라미터 예산 하에서 이전 압축 후 미세 조정 파이프라인 (compress-then-finetune pipelines) 을 상회한다. 우리는 코드를 공개할 예정이다.