차분 트랜스포머 V2(DIFF V2): 디코딩 효율과 안정성을 높인 차세대 아키텍처

요약

Microsoft가 제안하는 Differential Transformer V2 (DIFF V2)는 기존의 표준 트랜스포머 구조를 개선하여, 특히 LLM 디코딩 단계에서 메모리 효율성과 계산 안정성을 극대화한 아키텍처입니다. DIFF V2는 쿼리(Query) 헤드 수를 늘리면서도 키-값(Key-Value) 헤드 수는 유지하고, 차분 연산(Differential Operation)을 통해 전체적인 파라미터 및 FLOPs를 줄였습니다. 이 설계 덕분에 표준 트랜스포머와 유사한 디코딩 속도를 달성하면서도, 기존 Softmax의 한계였던 '

핵심 포인트

• DIFF V2는 쿼리 헤드 수를 늘리고 KV 헤드 수는 유지하는 방식으로, LLM 디코딩 시 메모리 바운드(memory-bound) 문제를 해결하여 표준 트랜스포머와 유사한 속도를 구현합니다.
• 기존 DIFF V1에서 사용했던 Per-head RMSNorm을 제거하고, 대신 각 토큰 및 헤드에 대한 투영(projected) 요소를 도입함으로써 학습 안정성을 높이고 기울기 폭주(gradient spike)를 줄였습니다.
• DIFF V2는 Softmax의 제약 사항을 극복하여 Context RMS (Root Mean Square)가 0까지 떨어지는 'Attention Sink' 문제를 해결하고, 전반적인 언어 모델링 손실 감소 효과를 보였습니다.
• 대규모 사전 학습(pretraining) 실험 결과, DIFF V2는 표준 트랜스포머 대비 1조 토큰 규모에서 0.02~0.03의 낮은 언어 모델링 손실을 기록했습니다.