요약

TL;DR: DeepSeek 모델이 v3 대비 파라미터 규모를 두 배로 확장한 v4 에서도 훈련 불안정성을 극복하지 못했습니다. 기존에 언급되던 '불일치 라우팅 (mismatch routing)'과 '클램핑 (clamping)' 등 10 개 이상의 안정화 트릭을 적용해도 근본적인 문제가 해결되지 않았음을 시사합니다.

핵심 포인트

• DeepSeek v3 (~15T 토큰) 에서 v4 (~33T 토큰) 로 데이터 규모를 두 배로 늘렸음에도 훈련 불안정성이 지속됨
• 'Stability' 트릭에 대한 10 개 이상의 언급이 있었으나, 주요 대처책인 불일치 라우팅과 클램핑만으로는 부족함
• 모델 스케일링 시 훈련 안정성 확보가 여전히 핵심 과제로 남음