@rohanpaul_ai가 공유한 새로 발표된 보고서에 따르면, NVIDIA는 Blackwell 추론 스택(inference stack)이 DeepSeek V4의 토큰 비용을 한 달 만에 5배 절감했다고 주장합니다.

NVIDIA의 Blackwell 추론 스택은 DeepSeek V4의 토큰 비용을 한 달 만에 최대 5배까지 대폭 낮췄습니다. @rohanpaul_ai에 따르면, 새로 발표된 NVIDIA 보고서가 이러한 극적인 감소를 주장하고 있습니다.

주요 사실 (Key facts)

• 한 달 만에 DeepSeek V4 토큰 비용 5배 절감
• NVIDIA 보고서는 Blackwell 추론 스택을 그 원인으로 지목
• DeepSeek V4는 1.5조 개의 파라미터(parameters)를 보유하며, 토큰당 370B(3,700억 개)의 활성 파라미터 사용
• 이전 추정 추론 비용: H100에서 100만 토큰당 $0.50
• X(구 트위터)의 @rohanpaul_ai를 통해 공유된 보고서이며, 동료 검토(peer-reviewed)를 거치지 않음

@rohanpaul_ai가 X를 통해 공유한 NVIDIA 보고서에서 인용된 이 주장은, Blackwell가 대규모 언어 모델(LLM)의 추론 효율성 측면에서 중대한 도약을 이루었음을 보여줍니다. 5배의 비용 절감은 2025년 초에 출시되어 OpenAI 및 Anthropic의 프런티어 모델(frontier models)과 비교해 경쟁력 있는 성능으로 주목받은 모델인 DeepSeek V4에 적용됩니다.

NVIDIA는 FP4 양자화 (quantization), 추측적 디코딩 (speculative decoding), 또는 개선된 텐서 코어 (tensor core) 활용 여부 등 구체적인 최적화 방식을 공개적으로 상세히 밝히지는 않았으나, 한 달이라는 기간은 근본적인 아키텍처의 변화보다는 신속한 엔지니어링 반복(engineering iteration)을 시사합니다. 이 보고서는 아마도 Blackwell B200 또는 B300 GPU에서의 토큰 비용을 이전의 Hopper H100 배포 환경과 비교했을 가능성이 높습니다.

이 결과가 독립적으로 검증된다면, 추론 비용이 정체기에 접어들었다는 기존의 담론에 도전하게 될 것입니다. 1.5조 개의 파라미터와 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처를 가진 DeepSeek V4는 서비스 비용이 매우 높은 것으로 알려져 있으며, 5배의 비용 절감은 이를 대규모 실시간 애플리케이션에 적용 가능하게 만들 수 있습니다.

맥락 및 주의사항 (Context and Caveats)

2025년 2월에 출시된 DeepSeek V4는 토큰당 3,700억 개의 활성 파라미터(active parameters)를 사용하는 MoE (Mixture-of-Experts) 아키텍처를 사용합니다. 이전 보고서들은 H100 클러스터에서의 추론(inference) 비용을 100만 토큰당 약 0.50달러로 추정했습니다. 5배의 비용 절감이 이루어진다면 이는 100만 토큰당 0.10달러가 되어, GPT-4o-mini의 가격 경쟁력과 맞먹는 수준이 됩니다.

하지만 NVIDIA의 보고서는 벤더(vendor)의 내부 벤치마크이며, 동료 검토(peer-reviewed)를 거친 연구가 아닙니다. 이 회사는 테스트 방법론, 하드웨어 수량, 또는 비용에 전기, 냉각 또는 하드웨어 상각 비용이 포함되었는지 여부를 공개하지 않았습니다. CoreWeave 또는 Lambda Labs와 같은 클라우드 제공업체의 독립적인 검증이 있다면 이 주장의 설득력이 높아질 것입니다.

전략적 시사점 (Strategic Implications)

타이밍이 주목할 만합니다. DeepSeek V4는 비용에 민감한 기업들 사이에서 인기를 얻고 있으며, NVIDIA의 최신 실리콘(silicon)을 통한 5배의 추론 비용 절감은 도입을 가속화할 수 있습니다. 이는 또한 유사한 추론 워크로드(inference workloads)를 목표로 하는 AMD와 Intel의 MI400 및 Gaudi 3 칩에 압박을 가합니다.

NVIDIA의 행보는 더 넓은 트렌드를 반영합니다. 모델의 크기가 커짐에 따라, 추론 최적화(inference optimization)는 하드웨어 벤더들의 핵심 차별화 요소가 되고 있습니다. 학습(training) 시장에서의 지배력(95% 이상의 시장 점유율)은 이제 TensorRT-LLM과 같은 소프트웨어 최적화 및 Blackwell의 하드웨어 기능이 해자(moat)를 형성하는 추론 시장에서도 강화되고 있습니다.

관전 포인트 (What to watch)

DeepSeek V4를 탑재한 Blackwell 클러스터를 운영하는 CoreWeave 또는 Lambda Labs와 같은 클라우드 GPU 제공업체의 독립적인 검증을 지켜보십시오. 또한, 학습 대비 추론 매출 비중에 대한 언급이 있는지 NVIDIA의 3분기 실적 발표(earnings call)를 추적하십시오.

[02 Jul 업데이트 (gn_gpu_cluster를 통해)]

NVIDIA에 따르면, Wccftech는 이번 5배 비용 절감이 하드웨어 변경이 아닌 '순수 Blackwell 소프트웨어 튜닝 (software tuning)'을 통해 달성되었다고 보도했습니다. 이는 새로운 실리콘 (silicon)을 필요로 하지 않고, TensorRT-LLM에서의 FP4 양자화 (quantization) 및 추측적 디코딩 (speculative decoding)과 같은 최적화를 통해 비용 절감이 이루어졌음을 확인해 줍니다. 또한 해당 보고서는 이러한 개선이 '출시 단 한 달 만에' 이루어졌음을 언급하며, Blackwell B200 GPU에서의 신속한 소프트웨어 반복 (software iteration)을 강조했습니다 [Wccftech 인용].

원문 게시: gentic.news