Microsoft가 발표한 Differential Transformer V2 (DIFF V2)는 대규모 언어 모델(LLM)의 효율성과 성능을 동시에 개선하기 위해 설계된 혁신적인 트랜스포머 변형 아키텍처입니다. DIFF V2는 기존 표준 트랜스포머의 구조적 한계, 특히 디코딩 단계에서의 메모리 병목 현상과 Softmax 기반 어텐션의 불안정성을 해결하는 데 중점을 둡니다.

🚀 DIFF V2의 핵심 설계 원칙 및 장점

1. 효율적인 차원 관리 (Dimensionality Management):
DIFF V2는 트랜스포머 구조를 유지하면서도, 쿼리(Query) 헤드 수를 늘리는 동시에 키-값(Key-Value, KV) 헤드 수는 기존과 동일하게 유지합니다. 이 설계 덕분에 LLM 디코딩 과정이 메모리 바운드(memory-bound)인 환경에서도 표준 트랜스포머와 유사한 수준의 빠른 처리 속도를 달성할 수 있습니다. 또한, 어텐션 연산 후 차원 축소 과정을 거치기 때문에 기본 트랜스포머 대비 파라미터 및 FLOPs 증가가 미미합니다.

2. 디코딩 성능 최적화:
표준 트랜스포머의 경우 Value Cache를 두 번 로드해야 하는 등의 문제로 인해 디코딩 시 속도 저하와 커스텀 어텐션 커널(custom attention kernel)이 필요할 수 있습니다. 반면, DIFF V2는 KV 헤드 수를 유지하고 차원 정렬을 통해 이러한 문제를 회피하며, 심지어 디코딩 과정에서 어텐션 모듈의 산술 강도(arithmetic intensity)를 높일 수 있다는 장점이 있습니다.

3. 학습 안정성 및 Softmax 제약 극복:

• RMSNorm 재고: 초기 버전인 DIFF V1은 Per-head RMSNorm을 도입했으나, 이는 큰 규모의 사전 학습 환경에서 과도한 기울기(gradient) 증가와 수치적 불안정성을 초래했습니다. DIFF V2에서는 이러한 문제를 해결하기 위해 Per-head RMSNorm을 제거했습니다.
• Attention Sink 문제 해결: 표준 Softmax 어텐션은 Context RMS (Root Mean Square)가 0에 가까워지는 'Attention Sink' 현상에 취약합니다. DIFF V2는 각 토큰 및 헤드에 대한 투영(projected) 요소를 도입하여 이 문제를 효과적으로 제어합니다. 특히, Context RMS의 하한선을 0으로 낮추는 것이 학습 안정성과 성능 향상에 매우 중요함을 보여줍니다.

📊 실험 결과 및 결론

대규모 프로덕션급 LLM(Dense Model 및 30A3 MoE)을 대상으로 진행된 사전 학습 실험에서, DIFF V2는 표준 트랜스포머 대비 현저히 낮은 언어 모델링 손실(language modeling loss)을 기록했습니다. 구체적으로 1조 토큰 규모의 학습 시 0.02~0.03 포인트의 격차를 보이며 우수한 성능을 입증했습니다.

이러한 결과는 DIFF V2가 단순한 구조적 개선을 넘어, LLM 아키텍처가 직면하는 근본적인 계산 및 수치적 문제를 해결하며 차세대 트랜스포머 모델로 자리매김할 잠재력을 가지고 있음을 시사합니다.