긴 컨텍스트 LLM의 군비 경쟁 양상이 변화했습니다: 긴 컨텍스트 LLM 경쟁이 토큰을 쌓는 것에서 정교한 아키텍처 최적화로 전환되었습니다.

Sebastian Raschka (《Build a Large Language Model From Scratch》 저자, 전 통계학 교수).

방금 《Recent Developments in LLM Architectures》를 발표하며, Gemma 4부터 DeepSeek V4까지의 핵심적인 최적화 과정을 시각화 방식으로 해체하여 설명했습니다.

[인용 @rasbt: 새로운 아티클: Gemma 4부터 DeepSeek V4까지, 최근 LLM 아키텍처 발전의 시각적 투어.

저는 KV 공유 (KV sharing), 레이어별 임베딩 (per-layer embeddings), 레이어별 어텐션 예산 (layer-wise attention budgets), 압축된 어텐션 (compressed attention), 그리고 mHC와 같은 긴 컨텍스트 효율성 미세 조정 (efficiency tweaks)에 집중했습니다.

링크: https://magazine.sebastianraschka.com/p/recent-developm]
[인용 URL: https://x.com/rasbt/status/2055637086380650538]