2조8천억 파라미터짜리 초대형 모델이 나왔는데 엔비디아랑 마이크론이 떨어졌다. 모델이 커지면 GPU를 더 사야 하는 거 아니었나.
요약
Kimi K3와 같은 초대형 모델이 계산 효율을 높이는 희소화(Sparsity) 구조를 채택하면서 엔비디아와 마이크론의 주가가 하락했습니다. 하지만 모델 규모가 커짐에 따라 메모리 점유량은 여전히 높으며, 절감된 계산 자원은 더 긴 문맥과 에이전트 활용으로 재투자될 전망입니다.
핵심 포인트
- Kimi K3 등 최신 모델의 극단적 희소화 구조 채택
- 계산 효율 증가로 인한 GPU 수요 감소 우려와 시장 반응
- 모델 파라미터 증가에 따른 대규모 메모리(VRAM) 필요성 지속
- 절감된 연산 자원이 긴 문맥 및 에이전트 기능으로 전이
2조8천억 파라미터짜리 초대형 모델이 나왔는데 엔비디아랑 마이크론이 떨어졌다. 모델이 커지면 GPU를 더 사야 하는 거 아니었나.
유튜브 안될공학 진행자 패치가 이 역설을 뜯었는데, Kimi K3는 전문가 896개 중 토큰마다 16개만 골라 쓰는 구조라 실제 계산에 참여하는 비율이 1.8%다. K2 2.1%, DeepSeek V3 3.1%, Qwen3 6.3%에서 계속 내려온 극단적 희소화. 계산이 줄면 GPU도 덜 필요한 거 아니냐는 걱정이 시장을 눌렀다.
근데 계산만 듬성해졌지 2조8천억 가중치는 어딘가에 통째로 올라가 있어야 한다. 16비트면 5.6TB, 4비트로 눌러도 1.4TB. 읽는 책 수를 줄인 거지 도서관을 없앤 게 아니다. 그리고 아낀 비용은 더 긴 문맥, 더 오래 도는 에이전트로 바로 재흡수된다. 하이닉스 삼성 HBM에 진짜 중요한 질문은 "AI가 메모리를 덜 쓰냐"가 아니라 "아낀 메모리로 뭘 더 시키냐"다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @j90236317 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0