완전한 선형(Linear) 모델로의 전환 혹은 그에 근접한 상태 (거의 없는 KV 캐시, 항상 bf16 사용)

요약

HOLA 아키텍처가 매우 작은 KV 캐시를 사용하면서도 Full Attention보다 16% 더 나은 Perplexity를 달성했음을 분석합니다. 기존의 속도 향상 중심 기술들보다 선형 어텐션 기반의 정확도 개선이 갖는 가치를 강조합니다.

핵심 포인트

• HOLA 아키텍처는 매우 작은 KV 캐시 사용 가능
• Full Attention 대비 16% 향상된 Perplexity 달성
• 양자화에 매우 민감한 높은 정밀도 유지
• 속도 중심 기술보다 선형 어텐션의 정확도 개선에 주목할 필요