엔비디아, AI 인퍼런스 성능 극대화: 플랫폼 전략 재조명

엔비디아(Nvidia)는 자신들이 단순한 GPU 제조사를 넘어선 종합적인 '데이터센터 플랫폼 기업'임을 지속적으로 강조하고 있습니다. 회사의 공동 창립자이자 CEO인 젠슨 황(Jensen Huang)은 GTC 2026 컨퍼런스 등에서 이 메시지를 반복하며, AI 확산에 필수적인 하드웨어 외에도 프로세서, 네트워킹, 스토리지, 소프트웨어, 참조 아키텍처, 그리고 다양한 AI 모델을 포함하는 거대한 생태계가 핵심임을 역설했습니다.

전통적으로 엔비디아는 GPU 제조사로 인식되어 왔지만, CUDA 컴퓨팅 플랫폼과 NVLink 인터커넥트 같은 기술적 성과를 통해 이미 일반 목적 데이터센터 컴퓨팅 분야를 선도해왔습니다. 최근에는 Grace Blackwell와 곧 출시될 Vera-Rubin 및 Vera-Feynman 컴퓨트 복합체(compute complexes)가 주목받고 있으며, 이들이 높은 매출을 견인하는 주요 동력입니다.

최근 엔비디아는 MLPerf 벤치마크에서 기록적인 AI 인퍼런스 성능을 발표하며 플랫폼 전략의 우위를 입증했습니다. 엔지니어링 전문가들은 이러한 성과가 단순히 강력한 GPU 하드웨어 덕분이 아니라, 소프트웨어와 하드웨어를 결합한 코디자인(co-design) 전략 덕분이라고 분석합니다.

엔비디아는 AI 워크로드가 '훈련(Training)'에서 '인퍼런스(Inference)' 중심으로 이동하고 있음을 지적하며, 소프트웨어 혁신이 핵심임을 강조했습니다. MLPerf Inference v6.0 벤치마크에는 DeepSeek-R1 Interactive (토큰 전달 속도 테스트), GPT-OSS-120B (Mixture-of-Experts 추론 모델), Qwen3-VL-235B-A22B (멀티모달 비전-언어 모델) 등 시장의 최신 트렌드를 반영한 다양한 워크로드가 포함되었습니다. 이 테스트들은 오프라인, 서버, 인터랙티브 환경 등 여러 시나리오에서 진행되어 실제 데이터센터 AI 활용도를 보여줍니다.

엔비디아 관계자는 LLM(Large Language Models) 및 추론 모델의 핵심 가치가 '토큰(tokens)' 생성 속도와 비용 효율성임을 강조했습니다. 따라서 엔비디아 플랫폼이 제공하는 성능 향상은 단순히 GPU를 더 빠르게 만드는 것을 넘어, **'더 많은 토큰을 생성하거나, 동일 인프라에서 더 높은 가치를 뽑아낼 수 있게 한다'**는 경제적 의미(so what)를 지닙니다.

또한, 엔비디아는 스타트업 Groq의 개발팀을 인수하고 LPU 엔진 라이선스 계약 등을 체결하는 등 외부 파트너십과 생태계 확장에 적극적으로 나서고 있습니다. 이러한 하드웨어-소프트웨어-AI 모델의 통합적 접근 방식이 엔비디아가 시장에서 독보적인 위치를 차지하게 하는 핵심 원동력입니다.