10억 파라미터 미만, 슈퍼 프런티어: 일반 및 문학적 관계 추출에서 제로샷 프런티어 LLM과 경쟁하는 소형 언어 모델 (SLM)

요약

소형 언어 모델(SLM)이 특정 작업 적응(task adaptation)을 통해 제로샷 성능의 대규모 언어 모델(LLM)을 능가할 수 있음을 입증한 연구입니다. 10억 파라미터 미만의 모델이 일반 및 문학적 관계 추출 작업에서 GPT-5.4나 Claude Sonnet 4.6보다 높은 성능을 보였습니다.

핵심 포인트

• 미세 조정된 Qwen2.5-0.5B가 제로샷 LLM보다 높은 RE 성능 달성
• 작업 적응(task adaptation)이 생성적 디코딩보다 성능 향상에 핵심적임
• 소형 모델은 단일 소비자용 GPU에서도 효율적인 배포 가능
• 도메인 적응형 사전 학습보다 지도 미세 조정의 효과가 더 큼