사전 장벽 극복: 긴 꼬리 분포 하의 지도 미세 조정

요약

본 논문은 LLM의 지도 미세 조정(SFT) 시, 개념별 사전 학습 지원 수준이 다름을 지적하며 '사전 장벽'이라는 새로운 개념을 도입했습니다. 이 사전 장벽이 긴 꼬리 분포를 따르기 때문에, 희귀한 개념(테일 개념)은 더 높은 장벽을 극복하기 위한 추가적인 지침이 필요합니다. 이에 따라 PASS라는 적응형 SFT 지침 선택 방법을 제안하여 효율성을 입증했습니다.

핵심 포인트

• 사전 학습 모델의 개념 지원 수준 차이를 '사전 장벽'으로 정량화함.
• 사전 장벽은 긴 꼬리 분포를 따르며, 테일 개념에 더 많은 노력이 필요함을 발견함.
• PASS는 적응형 SFT 지침 선택 방법으로, 필요한 곳에 예산을 집중 할당하여 성능을 개선함.
• 제안된 PASS 방법이 기존의 최첨단 방법들보다 지속적으로 우수한 성능을 보임.