AMD·인텔 CPU보다 빠르다 | 엔비디아 Vera CPU와 AI 랙 전쟁

Video: AMD·인텔 CPU보다 빠르다 | 엔비디아 Vera CPU와 AI 랙 전쟁
Channel: 안될공학 - IT 테크 신기술
Duration: 11m 55s
Source: subtitle (auto, ko)
Transcript:
We have a billion
people. We have
hundreds of billions
of agents. People
use tools every now
and then. Agents are
going to use tools
all the time and
agents use tools
very quickly.
C비디아가
이제 GPU 옆자리까지 내주지
않겠다는 신호가 나왔습니다. 이번에
GPU가 아닙니다. CPU입니다.
최근 포로닉스가 공개한 초도
벤치마크에서 M비디I아의 차세대 서버
CPU인이 베라 CPU가 전작
그레이스보다 약 63% 빨라졌고
AMD와 인텔의 가장 하이엔드급 서버
CPU들과 비교해도 앞서는 결과를
내놨습니다. 물론 당장이 결과만 보고
AMD와 인텔이 끝났다 이렇게
해석하기는 곤란하죠. 이번 테스트는
사전 생산 하드웨어로 진행된 초기
벤치마크이고 전력 효율 데이터도 아직
충분히 공개되지는 않았습니다.
그런데이 뉴스가 중요한 이유는 따로
있습니다. 엔비디아가 이제 고객에게
이렇게 말할 수 있게 됐다는 겁니다.
GPU를 우리 거 쓴다라고 하면은
CPU도 네트워크도 메모리 구조도 렉
시스템도 전부 비디아 플랫폼으로
맞추는게 가장 빠릅니다라고 말할 수
있다는 거죠. 이번 뉴스는 엔비디아가
CPU가 AMD보다 몇 % 빨랐다.
이런 얘기로만 국한하기에는 너무나도
많은 의미를 가지고 있습니다. AI
데이터 센터의 구매 단위가 CPU
하나, GPU 하나에서 렉 전체
플랫폼으로 바뀌고 있음을 가장 여실히
보여주는 부분이라는 거죠. 제가 다음
주 대만해에서 열리는 GTC 타이
현장에 직접 가서 확인하고 싶은 것도
바로이 지점입니다. 베라 CPU가
벤치마크 숫자만 좋은 CPU인지
아니면 루빈 세대 AI 시스템 안에서
GPU를 계속 먹여 살리는 핵심
부품으로 설계된 것인지 숫자 위에
성능이 아니라 실제 렉스케일에서
병목을 얼마나 줄이는지를 직접 확인해
보려고 합니다. 우선이 베라가 뭔지
짧게 보겠습니다.이 이 베라는
엔비디아의 차세대 암 기반 서버
CPU입니다. 기존 그레이스 CPU의
후속이고 차세대 AI 시스템인
베라루빈 플랫폼에 들어가는 거죠.
쉽게 말해서 GPU 옆에서 데이터를
준비하고 메모리를 관리를 하고
네트워크 통신을 조율하고 AI트 출론
워크로드를 보조하는 AI 서버용
두네라고 볼 수가 있는 거죠. 그런데
여기서 중요한 건 엔비디아도 CPU
만들었네라고 하는게 아닙니다.
엔비디아가 CPU를 왜 만들 수밖에
없었는지를 봐야 하는 거죠. AI
데이터 센터는 GPU만 빠르다고
끝나지가 않습니다. GPU가 일을
하려면 CPU가 데이터를 계속
스마트하게 밀어 넣어 줘야 한다라는
거죠. 메모리에서 데이터를 꺼내고
스토리지에서 가져오고 네트워크로 다른
서버와 맞춰주고 수많은 작업을
GPU에 배분을 해야 합니다.
GPU가 무대 위에 주인공이라고
하면은 무대 뒤에서 조명, 음향,
동선, 장비 이동이 꼬이면 그 무대가
망가질 수가 있겠죠. 엔비디아가
베라를 만드는 이유도 여기에
있습니다. GPU를 쉬지 않고
굴리려면은 GPU 옆에 메모리
네트워크까지 자기 손으로 통제를 해야
한다는 겁니다. 특히 요즘 AI
추론에서는 GPU 혼자 감당하기
어려운 데이터가 계속 늘어나고 있죠.
대화가 계속 길어지고 사용자가
많아지고 에이전트가 여러 도구를
호출하기 시작하면 GPU 안에
HBM만으로는 모든 데이터를 계속
품고 있기가 어렵습니다. 이때
CPU가 옆에서 메모리와 데이터
흐름을 멱살 잡고 끌고 가야 됩니다.
베라는 바로 그 역할을 만든다는
거죠. 단순히 계산만 하는 CPU가
아니라 GPU가 멈추지 않도록 뒤에서
계속 먹이를 공급하는 그게 바로
CPU라는 거죠. 그래서 베라의 진짜
의미는 CPU 성능 경쟁이 아닙니다.
AI 서버에서 병목이 CPU 쪽으로
번지고 있다라는 신호로 읽을 수가
있다라는 거죠. 예전에는 CPU가
서버의 중심이고 GPU는 옆에 붙은
가속기였습니다.

그런데 AI 데이터 센터에서는
GPU가 중심이고 CPU는 그 GPU
군단을 먹이고 묶고 조율하는 시스템
부품이 되어 가고 있죠. 여기서 봐야
할 건 기술명이 아니라 병목의
위치라는 겁니다. 병목이 GPU
안에서만 터지는게 아니라 GPU를
둘러싼 메모리, 네트워크, CPU 렉
시스템으로 번지고 있다라는 가장
확실한 증거인 거죠.이 변화가 AMD
인텔의 부담인 이유도 여기에
있습니다. AMD와 인텔은 서버
CPU 시장에서 오랫동안 싸워 왔죠.
AMD는 에픽으로 데이터 센터 CPU
시장을 빠르게 키웠고 인텔은 재원
생태계와 기업 고객 기반을
지켜왔습니다. 그런데 엔비디아가
베라를 앞서면 경쟁 구도가 바뀔 수가
있다라는 거죠. 이제 고객에게 CPU
하나만 파는 싸움이 아니기
때문입니다. AI 데이터 센터 전체를
어떤 플랫폼으로 맞출 것이냐의
싸움으로 간다라는 거죠. 엔비디아는
이렇게 말할 수 있습니다. GPU가
엔비디아면 그 외에 네트워크,
DPU, 렉스케일 연결도 전부 다
엔비디아. 이제 CPU까지인
겁니다. 그러면 앞서 말씀드렸다시피
고객 입장에서는 부품 하나를 고르는게
아니라 AI 공장 전체를 패키지로
사는 것처럼 느끼게 되죠. CPU
하나가 10% 더 빠르냐 뭐 이런 걸
보는게 아니라 렉 전체가 얼마나
안정적으로 돌아가는지가 더 중요해지고
있다라는 말입니다. 엔비디아가이 풀
패키지 코스를 자기 이름으로 팔고
싶어 한다는 거죠. 베라는 그
패키지에서 마지막으로 남아 있던
CPU 퍼즐을 채움으로써 완벽한 AI
데이터 센터 통째로 팔 수 있게
된다라는 겁니다. 여기서 엔비디아의
과거 암인수 실패의 이야기도 다시
보입니다. 엔비디아는 한 때 암을
통째로 인수하려고 했죠. 하지만 규제
문제로 무산됐습니다. 당시에는
M비디아의 CPU 전략에 큰 제동처럼
보였죠.
그런데 AI 시대가 열리자 우회로가
생긴 거죠. 암은 회사지는 못했지만
암 기반 CPU를 직접 설계하고 그
CPU를 GPU와 네트워크 렉 시스템
안에 집어넣는 방식으로 다른 길을
뚫은 겁니다. CPU 회사를 산게
아니라 CPU가 필요한 시장의 중심을
먼저 장악한 거죠. 이게 베라의 진짜
서사입니다. 아민수는 실패했지만 AI
인프라의 주도권을 잡으면서 엔비디아는
CPU 시장의 문을 다시 열고
있다라는 겁니다. 그리고 여기서
대만이 중요해집니다. 엔비디아가 AI
데이터 센터 플랫폼 회사가 되려면
칩계만 잘해서는 안 됩니다. 그 칩을
실제로 서버로 만들고 렉그로 조립하고
데이터 센터에 넣을 수 있어야 하죠.
TSMC는 첨단 반도체 제조의
중심이고 박스콘 퀀터 위스트론 같은
대망 공급망은 AI 서버와 렉
생산에서 중요한 역할을 하죠.
미국에서 매년 열리는 GTC와는
별개로 대만에서 다시 열리고 젠슨
CEO가 직접 타이페이까지 와서
키도까지 여는이 GTC 타이페이는
그러한 점에서 단순한 기술 행사가
아니라고 보여집니다. 엔비디아가
말하는 AI 팩토리가 진짜 공급망
위에서 찍혀 나올 수 있는지를
확인하는 자리라고도 볼 수 있겠죠.
그래서 제가 이번 현장에서 보고 싶은
것도 이러한 것들입니다. 베라
CPU가 단독 벤치마크에서 빠른 것과
베라 루빈 렉 시스템 안에서 실제
병목을 줄이는 것은 완전히 다른
문제이죠. 벤치마크 숫자는 출발점이고
진짜 질문은이 CPU가 루빈 GPU를
얼마나 오래, 얼마나 많이, 얼마나
효율적으로 먹여 살릴 수 있느냐.
그래서 그 거대한 AI 시스템이 대망
공급망 위에서 실제로 얼마나
안정적으로 찍혀 나올 수 있느냐 이런
질문들인 겁니다.
물론 지금이 뉴스는 AMD가
망했다거나 인텔 재온이 끝났다 이렇게
해석을 하기는 무리입니다. AMD
에픽은 여전히 법령 서버 CPU
시장에서 강력하고 인텔도 재온
생태계, 기업 고객, 플랫폼 호환성을
여전히 가지고 있죠. 그리고 베라가
모든 서버 워크로드에서 무조건
이긴다라는 뜻도 아닙니다. 컴파일이나
데이터베이스, 과학견, AI 전 처리
워크로드마다 결과는 달라질 수가
있죠. 더 중요한 거는 전력
효율이라고 볼 수 있습니다. 서버
CPU에서 진짜 질문은 얼마나
빠르냐만이 아니죠. 그 성능을 몇
아트로 냈느냐라는 겁니다. AI
데이터 센터에서는 전력, 냉각,
그리고 공간이 모두 비용입니다.
그래서 베라는 아직 검증해야 될게
많죠. 정식 양산 제품에서도이 성능이
유지가 되는가? 전력당 성능이 실제로
좋은지, 가격과 공급 조건이 맞는지,
대형 클라우드 고객들이 실제로 얼마나
채택하는지, 독립적인 테스트에서 같은
방향의 결과가 반복되는지 이걸
확인해야 합니다. 그래서 앞으로 봐야
할 포인트가 명확하죠. 첫 번째는
전력 효율을 봐야 됩니다. 베라가
빠르다는 것보다 같은 전력으로 얼마나
많은 AI 작업을 처리할 수 있느냐가
중요하겠죠. 그리고 두 번째는 실제
양상과 공급을 봐야 하는데 AI 르
시스템은 칩 하나만 준비된다고 끝나지
않으니까 보드 냉각 네트워크 전력
공급망이 함께 맞아야 하는 걸 봐야
되겠죠. 그다음은 고객이 실제로
채택하는가? 대형 클라우드 사업자들이
베라루빈을 얼마나 빠르게 도입하는지를
봐야 할 겁니다. 마지막으로 AMD와
인텔의 대응은 어떨 것인가? 최근에
CPU 때문에 AMD와 인텔이 주목을
받긴 했지만 이제 CPU만 잘해서는
부족합니다. AMD는 에픽과
인스팅트를 더 강하게 묶어야 한
상황이고 인텔도 제온 가우디 이더넷
파운더리 전략을 함께 보여 줘야
하겠죠. CPU 시장의 경쟁이 코스와
클럭 싸움에서 이제 AI 인프라 전체
설계 싸움으로 이동하고 있기
때문입니다. 결국 베라 CPU
벤치마크는 CPU 하나가 빠르다는
뉴스로 끝나지 않고 엔비디아가 AI
데이터니터 센터의 모든 층을 자기
아키텍처 안으로 끌어들이는 과정으로
해석을 할 수가 있겠죠. GPU는
이미 엔비디아가 잡고 있는 상황에서
네트워크도 커넥트 X, 블루필드,
스펙트럼으로 묶고 있습니다. 렉스케일
연결은 MV 링크와 MV 스위치로
밀어붙이고 있고 이제 CPU까지
베라로 가져오려는 겁니다. 그러면
고객 입장에서는 선택지가 바뀝니다.
어떤 CPU가 제일 빠르냐가 아니라
어떤 플랫폼을 사야 GPU를 가장
오래, 가장 많이, 가장 효율적으로
돌릴 수 있느냐를 보게 된다라는
거죠.이 이 변화는 기술 개선이
아니라 산업의 줄 세우기가 바뀌는
사건이라고 볼 수가 있습니다. 지표
전쟁으로 시작했지만 이제는 AI
데이터 센터 전체를 누가 설계하느냐의
전쟁으로 넘어가고 있는 상황. 베라가
정말 AMD와 인텔를 이길지는 아직도
봐야 합니다. 전력 효율뿐만 아니라
양산성도 봐야 되고 가격이라든가
고객이 얼마나 채택하는가 독립적인
벤치마크도 남아 있는 상황이죠.
베라가 벤치마크에서 잘 나온
CPU인지 아니면 루빈 세대 AI
시스템 안에서 GPU를 계속 먹여
살리는 핵심 부품인지 엔비디아가
말하는 AI 팩토리가 대망 공급망에서
실제로 얼마나 강하게 구현되고 있는지
이러 내용들을 GTC 타입 A에서
최대한 확인해 볼 예정입니다.
아민수는 실패했지만 엔비디아는 AI
시대의 주도권을 다시 잡으면서 다른
방식으로 CPU 시장의 문을 두드리고
있습니다. GPU 회사가 CPU까지
만들기 시작했다라는 뉴스가 아니죠.
GPU를 중심으로 데이터 센터 전체를
재설계하다 보니 CPU마저 엔비디아
생태계 안으로 들어오기 시작했다라는
뉴스로 볼 수 있습니다. 그래서 이번
베라 CPU의 질문은 이렇게 정리할
수 있습니다. 엔비디아가 CPU
시장에서 몇 퍼센트를 가져갈
것이냐라고 하는 것이 아니라 앞으로
AI 데이터 센터에서 CPU라는
부품을 따로 고르는 시대가 얼마나
남아 있는 것이냐라는 것이죠. AI가
기업들 간의 경쟁 구도와 순위까지
바꾸는이 시대. 과연 엔비디어와
AMD, 인텔 그리고 서버 시장도
도전하고 있는 퀄콩과 같은 회사들.
이런 회사들의 경쟁 구도는 어떻게
되는 것일까요? 지금까지
에러였습니다.