PEFT의 스케일링에 대하여: 1조 개의 파라미터를 가진 수백만 개의 개인화된 모델을 향하여

매개변수 효율적 미세 조정 (Parameter-efficient fine-tuning, PEFT)은 대개 전체 미세 조정 (full fine-tuning)의 더 저렴한 대안으로 취급됩니다. 우리는 더 넓은 역할, 즉 강력한 공유 파운데이션 모델 (foundation models) 위에 지속적인 로컬 상태 (local state)로서 존재하는 작은 학습 가능한 어댑터 (adapters)에 대해 연구합니다. 이러한 프레임링 (framing)에서, 베이스 모델 (base model)은 공유된 역량을 제공하는 반면, 어댑터는 선호도, 기술, 도구 습관, 그리고 메모리와 유사한 업데이트와 같은 인스턴스별 동작 (instance-specific behavior)을 수행합니다. 우리는 이 문제를 세 가지 스케일링 축 (scaling axes)을 중심으로 구성합니다: 더 강력한 공유 사전 확률 (shared priors)이 작은 로컬 업데이트를 더욱 유용하게 만드는 Scale Up; 작은 어댑터가 신뢰성을 유지하면서 얼마나 작아질 수 있는지 연구하는 Scale Down; 그리고 많은 지속적인 적응 인스턴스 (adapted instances)가 공존하는 Scale Out입니다. MinT는 어댑터의 식별 (identity), 수정 (revision), 출처 (provenance), 평가 (evaluation), 그리고 서빙 거주성 (serving residency)을 관리하기 위한 인프라 사례를 제공합니다. 종합적으로, 본 연구 결과는 PEFT가 단순히 전체 미세 조정의 예산 절감용 대체재가 아니라, 지속적인 개인화된 모델 (personal models)을 위한 조밀한 기질 (compact substrate)이 될 수 있음을 시사합니다.