- 최근 공개된 오픈 웨이트 LLM들이
장문 컨텍스트 효율성에 집중하면서, KV 캐시 크기·메모리 트래픽·어텐션 비용을 줄이기 위한아키텍처 트릭이 빠르게 늘어나는 중 - Gemma 4는
계층 간 KV 공유(cross-layer attention)와per-layer embeddings(PLE)로 KV 캐시와 파라미터 효율을 동시에 개선 - Laguna XS.2는 레이어별로
쿼리 헤드 수를 다르게 할당하는layer-wise attention budgeting도입 - ZAYA1-8B는
**Compressed Convolutional Attention(CCA)**으로 압축된 잠재 공간에서 직접 어텐션 연산을 수행, KV 캐시뿐 아니라 어텐션 FLOPs까지 절감 - DeepSeek V4는
**mHC(Manifold-Constrained Hyper-Connections)**로 잔차 경로를 확장하고,CSA/HCA로 시퀀스 길이를 압축해 1M 토큰 컨텍스트에서 V3.2 대비 FLOPs·KV 캐시를 대폭 절감
개요: 장문 컨텍스트 효율성에 집중하는 최신 아키텍처
-
추론(reasoning) 모델과 에이전트 워크플로가 더 많은 토큰을 더 오래 유지하면서,
KV 캐시 크기·메모리 트래픽·어텐션 비용이 주요 제약으로 부상 - 4월~5월 공개된 주요 오픈 웨이트 모델에서 새로 등장한 설계 포인트
-
Gemma 4:
KV sharing과per-layer embeddings - Laguna XS.2:
layer-wise attention budgeting - ZAYA1-8B:
compressed convolutional attention - DeepSeek V4:
mHC + compressed attention
-
Gemma 4:
-
본문은 데이터 믹스, 학습 일정, 포스트 트레이닝, RL 레시피, 벤치마크는 다루지 않고
트랜스포머 블록·잔차 스트림·KV 캐시·어텐션 연산내부 변화에 집중
1. Gemma 4: 계층 간 KV 공유로 캐시 축소
KV 공유(cross-layer attention) 도입
-
후반부 레이어가 자체 K/V 프로젝션을 계산하지 않고,
같은 어텐션 타입의 가장 가까운 이전 비공유 레이어의 KV 텐서를 재사용 - 슬라이딩 윈도우 레이어는 이전 슬라이딩 윈도우 레이어와, full-attention 레이어는 이전 full-attention 레이어와 KV 공유
-
쿼리 프로젝션은 각 레이어가 자체 계산하므로 레이어별 어텐션 패턴은 유지
-
Gemma 4 E2B는 35개 트랜스포머 레이어 중
처음 15개만 자체 KV 계산, 마지막 20개 레이어는 재사용 - Gemma 4 E4B는 42개 레이어 중 24개만 자체 KV 계산, 마지막 18개 재사용
-
후반부 레이어가 자체 K/V 프로젝션을 계산하지 않고,
절감 효과
한계
-
KV 공유는 일종의 근사로
모델 capacity 감소 - cross-layer attention 논문에 따르면 (테스트된 소형 모델에서는) 영향이 최소 수준
-
KV 공유는 일종의 근사로
-
개념 자체는 Brandon et al., "Reducing Transformer Key-Value Cache Size with Cross-Layer Attention" (NeurIPS 2024)에 기반, Gemma 4가 이를
널리 알려진 아키텍처에서 처음으로 적용한 사례
2. Gemma 4 E2B/E4B의 Per-Layer Embeddings (PLE)와 "Effective" 사이즈
- PLE는 KV 공유와
별개의 효율성 설계로,파라미터 효율성에 초점 -
"E"는 effective 의미
-
Gemma 4 E2B:
2.3B effective parameters, 임베딩 포함 시 5.1B - Gemma 4 E4B:
4.5B effective parameters, 임베딩 포함 시 8B - 메인 트랜스포머 스택 연산은 작은 수치에 가깝고, 큰 수치는 추가 임베딩 테이블 레이어 포함
-
Gemma 4 E2B:
PLE 구조
-
PLE 벡터는 반복되는 트랜스포머 블록
외부에서 준비 - 토큰 ID는 per-layer embedding lookup을 거치고, 일반 토큰 임베딩은 동일한 PLE 공간으로 선형 프로젝션
-
두 결과를 더하고 스케일링·reshape하여
레이어별 슬라이스 하나씩 가진 텐서생성 - 각 레이어 l은 자신의 슬라이스(ple_l)만 수신
-
PLE 벡터는 반복되는 트랜스포머 블록
트랜스포머 블록 내부 동작
PLE의 목적
-
비싼 트랜스포머 블록은 작은 "effective" 사이즈에 가깝게 유지
-
추가 capacity는
per-layer embedding 테이블에 저장, 룩업 기반이라 어텐션·FFN 가중치 추가보다 훨씬 저렴 - 단순히 dense 모델을 작게 만드는 대안과 달리,
메인 연산부의 capacity를 희생하지 않음
-
PLE가 원칙적으로 소형 모델에만 국한되지는 않으나, 대형 모델은 이미 capacity가 충분하고 MoE로 capacity 확장이 가능
3. Laguna XS.2: Layer-Wise Attention Budgeting
- Laguna는 코딩 응용 LLM에 집중하는 유럽 기반 회사
Poolside의 첫 오픈 웨이트 모델 -
기본 구성
새로운 점: 레이어별 쿼리 헤드 수 차등화
- Hugging Face config.json의
num_attention_heads_per_layer
설정으로 레이어마다 다른 쿼리 헤드 수 지정 가능, KV 캐시 모양은 호환 유지 슬라이딩 윈도우 레이어: KV 헤드당 8개 쿼리 헤드****Full attention 레이어: KV 헤드당 6개 쿼리 헤드- KV 헤드는 8개로 고정
- Hugging Face config.json의
설계 의도
-
모든 레이어에 동일한 어텐션 예산을 부여하는 대신,
유용한 곳에 어텐션 capacity 집중 - full-attention 레이어는 전체 컨텍스트를 보므로 비싸기 때문에 쿼리 헤드를 더 적게 할당
-
모든 레이어에 동일한 어텐션 예산을 부여하는 대신,
-
레이어별 capacity 차등화 아이디어 자체는 적어도 Apple의 2024년
OpenELM까지 거슬러 올라가며, Laguna XS.2는프로덕션급 오픈 모델 중 가장 두드러진 최근 사례 - 부수적으로 Laguna는
per-head attention-output gating도 적용 (Qwen3-Next 등과 유사)
4. ZAYA1-8B: Compressed Convolutional Attention (CCA)
Zyphra가 개발한 오픈 웨이트 모델,NVIDIA GPU나 Google TPU가 아닌 AMD GPU에서 학습된 점이 특징-
구조
CCA의 핵심
-
MLA와 유사하게 어텐션 블록에
압축된 잠재 표현도입 - 차이점: MLA는 잠재 표현을 주로
KV 캐시 축소용으로 사용하고, 실제 어텐션은 어텐션 헤드 공간으로 다시 프로젝션해 수행 - CCA는 Q, K, V를 모두 압축한 뒤
압축된 잠재 공간에서 직접 어텐션 연산수행, 결과 어텐션 벡터는 다시 up-projection - 결과적으로
KV 캐시뿐 아니라 prefill·학습 시 어텐션 FLOPs까지 절감
-
MLA와 유사하게 어텐션 블록에
Convolutional Mixing
-
"Convolutional"이라는 이름은
압축된 K, Q 표현에 추가 convolutional mixing이 들어가기 때문 - 압축은 Q, K, V를 좁게 만들어 연산·캐시 절감하지만, 어텐션 표현력을 떨어뜨릴 수 있음
-
convolution은 압축된 Q, K에
로컬 컨텍스트를 저렴하게 추가하는 수단 - V에는 적용하지 않음 — Q, K는 어텐션 스코어를 결정하고, V는 그 스코어로 평균되는 콘텐츠이기 때문
-
sequence mixing 외에
channel mixing 컴포넌트도 존재
-
"Convolutional"이라는 이름은
성능
-
CCA는 ZAYA1-8B 기술 보고서보다 앞선 별도 논문
**"Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space" (2025년 10월)**에서 도입 - CCA 논문 실험 기준,
동일한 압축 설정에서 MLA보다 우수한 결과 보고
-
CCA는 ZAYA1-8B 기술 보고서보다 앞선 별도 논문
5. DeepSeek V4: CSA/HCA, mHC, 압축 어텐션 캐시
DeepSeek V4는 올해 가장 큰 화제와 모델 규모를 보인 릴리즈,
DeepSeek V4-Pro는 active parameter 비중 기준 가장 희소한 MoE -
본문은 이전 아키텍처 대비 새로운 두 핵심에 집중
mHC: 더 넓은 잔차 경로CSA/HCA: 장문 컨텍스트 어텐션 압축·희소화
5.1 Manifold-Constrained Hyper-Connections (mHC)
- 2025년 12월 31일 DeepSeek 팀 논문 "mHC: Manifold-Constrained Hyper-Connections" 기반, 당시 27B 규모에서만 실험되었으나
이번 플래그십에 본격 적용 - 트랜스포머 블록 내
잔차 연결 설계를 현대화하는 것이 목적 — 어텐션/정규화/MoE에 집중되던 변경과 차별화 -
Hyper-Connections (HC) 배경
-
Zhu et al. (2024) "Hyper-connections" 기반
-
단일 잔차 스트림을
여러 병렬 잔차 스트림과 학습된 매핑으로 대체 - 어텐션·MoE 레이어가 일반 hidden size로 동작하기 위해
Pre Mapping(병렬 스트림 → 하나의 hidden vector)과Post Mapping(레이어 출력 → 병렬 스트림 분배) 추가 - 잔차 경로를 더 표현력 있게 만들면서 어텐션·MoE 자체는 넓히지 않음
-
7B OLMo MoE 실험에서 토큰당 FLOPs는
13.36G → 13.38G로 사실상 변화 없음, 학습 토큰 약 절반으로 baseline 성능 도달
HC → mHC 변경점
-
일반 HC의 Res Mapping은 학습 가능한 행렬로, 여러 층을 거치며 신호 증폭·축소가 예측 불가
-
mHC는 잔차 매핑을
doubly stochastic matrices 매니폴드에 사영 — 모든 항이 비음수, 각 행·열의 합이 1 - 잔차 혼합이 스트림 간
안정적 정보 재분배처럼 동작 - Pre Mapping, Post Mapping도 비음수·유계로 제약, widened 잔차 상태 읽기/쓰기 시 상쇄 방지
-
더 깊은 모델일수록 중요해지는
스케일링 안정성확보
비용
-
27B 모델 실험에서 DeepSeek 팀의 최적화 구현(fusion, recomputation, pipeline scheduling)으로
n=4 잔차 스트림 사용 시 학습 시간 오버헤드 6.7%
-
27B 모델 실험에서 DeepSeek 팀의 최적화 구현(fusion, recomputation, pipeline scheduling)으로
-
2025년 12월 31일 DeepSeek 팀 논문 "mHC: Manifold-Constrained Hyper-Connections" 기반, 당시 27B 규모에서만 실험되었으나
5.2 CSA와 HCA를 통한 압축 어텐션
- 매우 긴 컨텍스트에서 어텐션 스코어 계산뿐 아니라
KV 캐시가 시퀀스 길이에 비례해 커지는 문제해결이 목적 - DeepSeek V4는 두 압축 어텐션의 하이브리드 사용:
Compressed Sparse Attention (CSA)와Heavily Compressed Attention (HCA) -
MLA와의 차이
CSA vs HCA
CSA: 약한 압축률(m=4) +DeepSeek Sparse Attention (DSA) 스타일 top-k 선택****HCA: 강한 압축(m'=128,128 토큰을 압축 KV 엔트리 1개로) + 짧아진 캐시 위에서dense attention- 두 방식 모두 최근 비압축 토큰을 위해
128 토큰 슬라이딩 윈도우 분기유지 - CSA는 디테일을 더 살리되 희소 선택, HCA는 엔트리를 크게 줄여 dense attention 가능 →
상호 보완적이므로 DeepSeek V4는 두 레이어를 교차 배치
효율성 결과 (1M 토큰 컨텍스트, DeepSeek V3.2 대비)
DeepSeek V4-Pro: 단일 토큰 추론 FLOPs27%, KV 캐시 크기10%DeepSeek V4-Flash: FLOPs10%, KV 캐시 크기7%
평가 주의점
-
CSA/HCA가 MLA보다 일반적으로 "더 좋다"고 단정하기 어려움,
더 공격적인 장문 컨텍스트 설계이자 더 복잡 - 논문에 ablation study 없음
-
DeepSeek V4-Flash-Base가 다수 base 벤치마크에서 V3.2-Base를 능가하고 1M 토큰 retrieval에서 강한 결과를 보였으나, 이는 더 나은 데이터·Muon 기반 최적화·mHC·정밀도/저장 최적화·학습/추론 시스템 변경을 포함한
전체 레시피 결과
-
CSA/HCA가 MLA보다 일반적으로 "더 좋다"고 단정하기 어려움,
-
매우 긴 컨텍스트에서 어텐션 스코어 계산뿐 아니라
6. 결론
-
올해 새 오픈 웨이트 모델들의 공통 패턴은
총 파라미터 수를 줄이지 않으면서 장문 컨텍스트 추론 비용을 낮추는 것- Gemma 4:
cross-layer KV sharing으로 KV 캐시 축소,per-layer embeddings로 capacity 추가 - Laguna XS.2: 레이어별 어텐션 capacity 차등화
-
ZAYA1-8B: 어텐션을
압축 잠재 공간으로 이동 - DeepSeek V4: 제약된 잔차 스트림 혼합 + 압축 장문 어텐션
-
Gemma 4:
-
트랜스포머 블록은 여전히 변화 중이나
타깃이 명확한 방식의 수정, 기본 골격은 GPT decoder-only 아키텍처를 유지 - 정성적 모델링 성능은 주로
데이터 품질·양과 학습 레시피가 견인 - 현재까지는
**트랜스포머가 SOTA 아키텍처의 현상태(status quo)**로 유지, diffusion 모델 등 대안 존재 - 기본 트랜스포머 블록은 PyTorch 50~100줄로 구현 가능했으나, 최근 어텐션 변형 등으로
코드 복잡도가 약 10배증가 - 복잡도 증가 자체는 런타임 비용을 줄이므로 부정적이지만은 않으며, 개별 컴포넌트와 상호작용에 대한
명확한 이해는 점점 어려워짐 - 학습 권장 접근: 원조 decoder-style LLM(GPT/GPT-2)에서 출발해 새 컴포넌트를 하나씩 추가해 가며 학습