수조 개의 파라미터를 가진 수백만 개의 개인화된 모델을 향하여

요약

PEFT(Parameter-Efficient Fine-Tuning)를 활용하여 공유된 파운데이션 모델 위에 개인화된 어댑터를 지속적인 로컬 상태로 구축하는 연구를 소개합니다. 모델의 규모와 개인화 성능을 확장하기 위한 세 가지 스케일링 축(up, down, out)을 탐구합니다.

핵심 포인트

• PEFT를 통한 저비용 개인화 모델 구축 방안 제시
• 어댑터를 파운데이션 모델의 지속적 로컬 상태로 정의
• 세 가지 스케일링 축(up, down, out)을 통한 확장성 탐구