Taylor-Calibrate: 하이브리드 선형 어텐션 증류를 위한 원칙적인 초기화 방법

요약

하이브리드 선형 어텐션 모델로의 효율적인 변환을 위한 새로운 초기화 방법론인 Taylor-Calibrate를 제안합니다. Taylor 전개를 활용해 교사 모델의 통계량을 기반으로 학생 모델의 파라미터를 설정함으로써, 증류 과정의 효율성을 극대화하고 성능을 대폭 개선합니다.

핵심 포인트

• 하이브리드 선형 어텐션 모델의 변환 시 발생하는 초기화 문제 해결
• Taylor 가이드 기반의 통계량을 활용한 경량 초기화 방법론 제안
• 단순 변환 대비 최대 88배의 제로샷 성능 개선 달성
• 학습 토큰 소모량을 기존 방식 대비 최대 9.2배 절감