방금 HOLA 아키텍처의 영향력을 확인해 보았는데, 마치 꿈만 같습니다:

• 매우 작은 KV 캐시 (1 Gb면 아마 5/10M 컨텍스트 정도일 것입니다)
• Full Attention (전체 어텐션)보다 16% 더 나은 Perplexity (혼란도). 이것이 어느 정도인지 이해하기 위해 양자화 (Quantization)를 테스트해 보면, 0.1/0.3 정도면 모델이 더 이상 완벽하게 작동하지 않는다고 말할 수 있을 정도입니다.
  그래서 저는 왜 6배의 속도 향상을 미끼로 던지는 MTP/DFlash/DTree 게시물들(실제로는 운이 매우 좋을 때 150% 수준임)은 이 커뮤니티에서 그렇게 많은 관심을 받는 반면, https://www.reddit.com/r/LocalLLaMA/comments/1upjq05/a_hippocampus_for_linear_attention_an_exact/ 은 방치되어 있는 것인지 이해가 되지 않습니다.
• submitted by /u/R_Duncan
  [link] [comments]