요약

사실적 말뭉치로부터 LoRA 어댑터를 생성하는 하이퍼네트워크(Hypernetworks)가 기존의 LoRA 및 전체 미세 조정보다 우수한 일반화 성능을 보인다는 연구 결과입니다. 모델의 규모가 커질수록 이러한 성능 격차는 더욱 확대되는 스케일링 법칙을 제시합니다.

핵심 포인트

• 하이퍼네트워크 기반 LoRA 어댑터 생성 방식 제안
• 분포 외 일반화(OOD) 측면에서 기존 미세 조정 방식보다 우수
• 타겟 모델의 파라미터 규모가 커질수록 성능 격차 확대