토큰당 비용이 AI 공장 평가 1순위다.

토큰당 비용이 AI 공장 평가 1순위다.

엔비디아 GTC 타이페이에서 제품마케팅 총괄 인터뷰 내용이다.

고객은 GPU 속도보다 토큰당 비용 최소화를 최우선으로 본다.
그 다음이 빨리 깔 수 있는지와 생산 토큰량이다.

병목이 이동했다.
GPU 가속 다음은 네트워크, 이제 CPU가 된다.

에이전틱 워크로드는 planning·retrieval·tool use·code의 긴 루프라 160턴 이상이 필요하다.
CPU가 데이터를 GPU에 적시에 공급하지 못하면 전체가 느려진다.

엔비디아는 Vera CPU를 바닥부터 재설계했다.
높은 단일스레드 성능, 막대한 메모리 대역폭, 단일 다이 코히어런트 패브릭이 핵심이다.
NVLink C2C로 GPU에 데이터를 바로 넘겨 병목을 피한다.

메모리는 LPDDR에 ECC를 내장해 저전력 엔터프라이즈급으로 만들었다.

Blackwell에서 Rubin으로 전환할 때 CUDA 10년 하위호환과 NVL72 아키텍처를 유지해 기존 투자를 보호한다.

자체 AI 모델 연구팀으로 미래 워크로드를 미리 보고 빠르게 선회하는 문화가 배경이다.

마케팅 총괄 인터뷰라 셀링 톤이 있지만 메시지는 다른 키노트와 일관된다.