Compress Then Adapt? No, Do It Together via Task-aware Union of Subspaces

요약

본 논문은 대규모 사전 학습 모델을 다양한 작업에 적응시키는 과정에서 발생하는, '압축 후 적응'이라는 순차적 접근법의 한계를 극복하는 새로운 프레임워크 JACTUS를 제안합니다. JACTUS는 압축(Compression)과 적응(Adaptation) 과정을 단일 통합 프레임워크로 결합하여, 작업 인식 서브스페이스(Task-aware Subspaces) 내에서 투영 저랭크 근사 및 전역 랭크 할당을 수행합니다. 이를 통해 기존의 분리된 방식보다 더 높은 성능과 효율성을 달성하며, 특히 Vision 및 Language 영역에서 강력한 결과를 입증했습니다.

핵심 포인트

• 기존 PEFT와 저랭크 압축은 순차적(Compress-then-Adapt)으로 구성되어 서브스페이스 불일치 위험이 존재했으나, JACTUS는 이를 단일 프레임워크로 통합합니다.
• JACTUS는 교정 세트에서 추정한 기울기 공분산과 사전 활성화 정보를 활용하여 작업 인식 서브스페이스를 형성하고 직교 연산을 수행합니다.
• 전역 랭크 할당(Global Rank Allocation)을 통해 매 파라미터의 마진 수익을 고려하며, 컴팩트 코어 행렬만 훈련하여 효율성을 극대화합니다.
• Vision 및 Language 태스크에서 각각 ViT-Base와 Llama2-7B를 대상으로 테스트한 결과, 기존 최고 성능의 PEFT 베이스라인과 이전 압축 후 미세 조정 파이프라인을 모두 능가하는 높은 정확도를 보여주었습니다.