PEFT-Arena: 안정성-가소성 관점에서의 매개변수 효율적 미세 조정(PEFT) 이해

매개변수 효율적 미세 조정 (Parameter-efficient finetuning, PEFT)은 대규모 언어 모델 (Large Language Models, LLMs)을 적응시키기 위한 표준적인 접근 방식이 되었으나, 기존의 평가 방식은 사전 학습된 능력 (Pretrained capabilities)의 유지보다는 주로 다운스트림 정확도 (Downstream accuracy)를 강조해 왔습니다. 우리는 PEFT가 안정성-가소성 딜레마 (Stability-plasticity dilemma), 즉 타겟 작업 적응 (Target-task adaptation)과 망각에 대한 저항성 (Resistance to forgetting) 사이의 트레이드오프 (Trade-off)를 통해 평가되어야 한다고 주장합니다. 우리는 다운스트림 성능과 일반 능력 유지 (General capability retention)를 공동으로 측정하는 벤치마크인 PEFT-Arena를 소개합니다. 다양한 방법론을 조사한 결과, 우리는 뚜렷한 안정성-가소성 프로필을 발견했습니다. 유사한 매개변수 예산 (Parameter budgets) 하에서, 직교 미세 조정 (Orthogonal finetuning)이 가장 유리한 파레토 프런티어 (Pareto frontier)를 달성합니다. 이러한 차이를 설명하기 위해, 우리는 두 가지 기하학적 관점에서 PEFT 업데이트를 분석합니다. 가중치 공간 (Weight space)에서 스펙트럼 분석 (Spectral analysis)은 매개변수화 (Parameterizations)가 사전 학습된 특이값 구조 (Singular-value structure)와 어떻게 상호작용하는지 밝혀냅니다. 활성화 공간 (Activation space)에서 유지 지표 (Retention metrics)는 미세 조정이 일반 능력 표현 (General-capability representations)을 보존하는지 또는 왜곡하는지를 보여주며, 망각은 비등거리 표현 왜곡 (Non-isometric representation distortion)과 연관되어 있습니다. 마지막으로, 분석을 통해 최종 SFT 체크포인트가 더 나은 타겟-유지 운영 지점 (Target-retention operating point)을 초과하는 경우가 많음을 보여줍니다. 이에 영감을 받아, 우리는 경로별 리와인딩 (Path-wise rewinding)을 통한 사후 개선 (Post-hoc improvement) 사례 연구를 제시합니다.