모든 AI 병목에 NVIDIA가 있다 | 젠슨황 키노트 발표에 AI 투자의 흐름이 보인다

Video: 모든 AI 병목에 NVIDIA가 있다 | 젠슨황 키노트 발표에 AI 투자의 흐름이 보인다
Channel: 안될공학 - IT 테크 신기술
Duration: 17m 40s
Source: subtitle (auto, ko)
Transcript:
The computer
industry has been
completely changed.
Insanged
because

AI가 돈을 벌기 시작했다라는
그래프가 젠슨 키노트의 첫 장면을
사실상 결정했습니다. 이번 GTC
타이페이 키노트에서 엔비디아가 던진
메시지는 지표가 더 빨라졌습니다가
아니었죠. 오히려 그 반대였습니다.
AI는 이제 돈을 쓰는 기술이 아니라
돈을 벌어오는 인프라가 되었다는
겁니다. 그리고 그러한 목표를
달성하기 위해서 엔비디아는
GPU뿐만이 아니라 CPU,
네트워크, 스토리지, 보안 소프트웨어
로봇까지 전부 다 다시 짜고 있는
모습을 숫자로 보여줬습니다. 베라
루비는 그레이스 블랙겔에 대비해서
에이전트 스루프을 열배 높인다고
발표했고요. 베라 CPU는 X86
CPU 대비해서 에이전틱 워크로드에서
1.8배 빠른 테스크 컴플리션을
내세우기도 했죠. 심지어 뉴욕 증권
거래소는 하루 1.1조개 이상의
메시지를 처리하는 인프라에서 베라
CPU를 활용하겠다고 언급을 하기도
했고 케이든스는 칩계 검증 시간을
5주에서 하루 미만으로 줄일 수
있다라고 하는 AI 슈퍼 에이전트
사례를 들고 나왔습니다. 현장에서
두시간 남지 때는이 엄청난 청사진을
쭉 듣고 나니까이 발표들이 하나의
문장으로 결국 연결이 되었는데요.
바로 AI 경쟁은 이제 모델 성능표
밖으로 빠져나왔다라는게 확실하다라는
거죠. 이제 싸움은 누가 더 싸게 더
많이 더 안정적으로 AI가 돈을 벌게
만들 수 있느냐로 넘어가고 있습니다.
여기서 먼저 봐야 할 건 M비디아가
왜 계속 AI 팩토리라고 말하느냐인
것인데요. 데이터 센터라고 하면 보통
우리가 서버가 가득한 건물을 떠올릴
수밖에 없는데 거기서 검색을 처리하고
영상을 스트림을 한다라거나 클라우드
서비스를 돌리는 거죠. 그런데
젠슨왕이 말하는 AI 팩토리는 조금
다릅니다. AI 팩토리에서는 데이터를
저장하는 창고 같은 개념이 아니라 말
그대로 팩토리 토큰과 결과물을
찍어내는 공장에 가깝기 때문인데요.
우리가 질문을 하죠. 그러면 AI가
답변을 만들고 코드를 짜고 자료를
서치한 다음에 시뮬레이션을 돌리고
문석을 분석합니다. 업무를 대신
끝내는 거죠.이 모든 결과물이 결국은
서비스 매출 레뉴로 이어진다라고 하는
것이 이번 키노트에 나왔죠. 바로
compute is
revenue입니다.
other
life is long.
컴퓨팅이 비용이 아니라 매출이라는
말이죠. 예전에는 서버를 사면 돈이
나갔는데 AI 서비스에서는 서버가
돌아갈수록 토큰이 나오고 토큰이
나올수록 사용량이 늘어나니까 사용량이
늘수록 매출이 생긴다라는 논리죠.이
컴퓨터가 비싼 계산기에서 매출을
만들어내는 기계가 된 겁니다. 전기를
넣으면 24시간 쉬지 않고 결과물을
찍어내는 기계.이 관점에서 보면
GPU는 더 이상 부품 하나가
아니라는 거죠. 공장의 핵심 생산
설비입니다. 그런데이 공장이 기계
하나로 돌아가지는 않죠. 기계가
있어도 전기가 있어야 돌아가고 또
물류가 필요하고 실제로 작업하는
사람이 필요할 것이며 운영 시스템
전반이 필요할 겁니다.이 AI
팩토리에서도 CPU가 받쳐져야 되고
네트워크가 막히면 안 되고 스토리지와
보안 그리고 소프트웨어가 전체 공장을
관리를 해야 하는데 그래서 이번
키노트의 핵심 메시지는 돈을 버는
공장 전체를 엔비디아 방식으로 전체를
다 설계를 했다라는 것에 가깝죠.
그런데이 공장을 가장 바쁘게 만들
워크로드가 무엇이냐? 이번 키노트에서
젠슨왕은 그 답을 에이전트로
잡았습니다. 여기서 중요한 건
에이전트를 그냥 체포의 다음 버전
정도로 보면 안 된다라는 겁니다.
젠슨항은 에이전트를 이렇게 정의했죠.
LM과 하네스이 두 개가 합쳐진 것이
에이전트라는 겁니다. 자,이 말이
이번 키노트 전체를 이해하는 핵심
키라고 보시면 되겠는데요. agent
consol이
쉽게 말해서 두뇌가 되는 거죠. 말을
이해할 수 있어야 되고 추론을 하고
코드를 만들 수 있어야 되고 앞으로의
계획을 세울 수 있는 바로 그 능력.
근데 그 두뇌만 있다고 일을 할 수가
없죠. 하네스라고 하는 것이 바로 그
주변 장치로서 이거를 가능하게
만든다라는 겁니다. 메모리뿐만 아니라
툴을 호출한다라거나 권한 관리,
코드를 실행하는 환경이나 샌드박스
관리, 검색이라든가 검증할 수 있는
루프 이런 모든 것들이 잘
붙어야지만이 모델이 그냥 단순히 답을
하는 체포사에서 전체 일을 돌릴 수
있는 에이전트가 된다는 거죠.
그리고이 구조가 실제로 어디서
보였냐라고 하면은 바로 저는 케이든스
사례가 핵심이었다고 봅니다. 이번에
케이던스는 칩스텍 AI 슈퍼
에이전트를 발표를 했는데요. 이게
단순히 칩계를 도와주는 AI 정도가
아니라는 거죠. 엔비디아 키노트
발표에 의하면 케이던스는 오픈 셰을
사용해서이 에이전트를 보호하고 칩계와
검증 워크플로우를 자율적으로
실행한다. 이렇게 말을 하고
있는데요. 심지어 엔비디아가이 칩
스택의 첫 고객으로서 엔비디아의
칩계를 검증하는데 사용한다고 밝히기도
했습니다. 보도에 따르면이 시스템은
수백만 개의 자동화된 테스트를
돌리는데 쓰이고 칩 검증 시간을
5주에서 하루 미완으로 줄일 수
있다라고 얘기를 했는데요.
물론 이게 실제 산업 현장에서 어느
범인까지 적용될지는 앞으로 두고 봐야
하겠지만 AI 에이전트라고 하는 것이
이제 이메일을 써 주는 수준을 넘어서
반도체 설계 검증과 같은 고부가
엔지니어링 업무로 들어가고 있다라는
거를 보여주는 핵심적인 장면이죠.
여기서 중요한 변화가 생깁니다.
엔비디아는 에이전틱 AI의 하나의
프롬프트가
retriever to use
respon스 제너레이션으로 이어지는
수천 단계의 여정이 될 수 있다라고
설명합니다. 자,이 말이 중요한
이유는 간단하죠. 이제 병목이 GPU
하나에만 있지 않게 됐다라는 겁니다.
AI가 답변만 만들 때는 GPU가
핵심처럼 보였는데 AI가 일을 하기
시작하면 GPU 밖에서 엄청난 일이
벌어질 수밖에 없다는 거죠. 파이썬
런타임이 돌아가고 있고 샌드박스가
생기고 데이터베이스를 계속 조회를
해야 되고 외부에 있는 툴을
호출하면서 일을 수행해 나가면서
에이전트끼리의 프로세스를 조율해야
됩니다. 이러한 작업의 상당수는
CPU가 처리를 해 줘야겠죠.
GPU가 아무리 빨라도 CPU가
데이터를 준비하지 못하면 GPU가
기다릴 수밖에 없는 상황. AI
팩토리에서 GPU가 기다리고 있다라는
거는 공장 기계가 멈춰 있는 것과
같다라는 거죠. 그래서 바로이
대목에서 베라 CPU가 나옵니다.
엔비디아가이 베라라고 하는 AI
에이전트를 위해 설계된 첫 CPU를
표현한 건데요.
88개의 올림프 스코어스페이셜
멀티스레딩이라고 하는 병률로 처리할
수 있는 능력. 최대
1.2T바/세컨드의
LPDDR 5X의 메모리 대역포
MV링크 C2C 기반의 CPU와
GPU의 코이어런트 밴드위스이 스펙
만들면은 복잡한데 핵심은 하나입니다.
수많은 에이전트가 동시에 코드를
실행하고 또 동시에 툴을 호출하고
데이터를 옮기고 작업을 조율할 때
CPU가 GPU의 발목을 잡지 않게
하겠다라는 거죠. 특히 에이전트를
오케스트레이션 하는 이런 프레임워크나
런타임 같은 경우에 파이썬 기반으로
돌아가는 경우가 많죠. 파이썬이
생산성이 좋긴 한데 인터프리터
방식이라는 이런 코드 방식이기 때문에
한 줄 한 줄 진행하는 오브헤드도
생기게 되고 컨텍스트를 바꾼다거나
멀티스트레딩을 하에 제약이 생긴다거나
뭐 메모리 접근 같은 병목 요런
것들이 계속 문제가 발생할 수
있습니다. 사실 베라 CPU가
파이썬의 모든 구조적 한계를
없앴다라는 뜻은 아니지만 수많은
에이전트 테스크가 동시에 쪼개져서
실행되는 상황에서 더 많은 작업을
병렬로 처리를 할 수 있게 그리고
메모리 변목을 줄이고 GPU의
데이터를 끊기지 않게 공급하는
CPU에 맞춰져서 설계를 했다는 점이
주목될 부분인데요. 그래서이 베라
CPU가 단순히 M비디아가 CPU
시장도 먹겠습니다. 뭐 이런 발표라고
해석하기보다는 AI 팩토리에서
GPU가 돈을 벌도록 주변 병목을
제거하는 CPU로서 접근을 했다는
겁니다. 그리고이 베라 CPU
발표에서 정말 상징적이었던 사례가
하나 더 있는데 바로 뉴욕 증권
거래소이죠. 엔비디아 발표에 의하면은
뉴욕 증거래소에서 레드 판다 HP와
함께 베라 CPU를 활용해서 고성능
고실내 AI레디 마켓 인프라스트럭처를
확장하려고 한다. 이렇게 발표를
했는데요. 뉴욕 증권 거래소가 하루에
1.1쪽에 이상의 메시지를 처리를
한다라고 언급을 했는데 요게 그냥
금융권 고객이 생겼다.요 요 정도의
이야기로 보기다는 증권 거래소와 같은
초저지연 인프라 이런 곳에서 데이터가
밀리면 안 되고 레이턴시가 커지면 안
되는 상황에서 시스템이 안정적으로
돌아갈 수 있는 핵심이 베라
CPU였다는 거죠. 그래서이 베라
CPU가 GPU 옆에 앉아 있는 그런
조연의 역할뿐만이 아니라 AI
팩토리의 데이터 흐름을 붙잡는 조율을
하는 역할을 노리고 있다라고 해석을
해야 오를 것입니다. 이러한 병목은
CPU에서만 끝나지 않죠. AI
팩토리가 수십만 수백만 GPU 규모로
커지게 됐을 때에 네트워크가 그다음
문제가 됩니다.이 GPU수가 늘어나면
그 지표들이 서로 대화를 해야겠죠.
거대한 AI 모델을 돌리려고 하면은
학습을 할 때도, 출론을 할 때도,
스토리지에 접근을 할 때도 데이터가
계속 오갈 수밖에 없는데 기준의
방식은 전력이나 반열, 신호
감세라든가 지연 시간 같은 이런 물리
법칙의 한계가 있다라는 겁니다.
그래서 그 물리를 바꿨습니다. 이번에
스펙트럼 X더넷 포토닉스와 CPO
코패키지 옵틱스가 다시 한번 주목하게
된 이유가 바로 그거죠.이 이
CPO는 그냥 단순하게 말하면은 광항
모듈을이 스위치 칩에 훨씬 더 가깝게
붙였다라는 방식인데 전기 신호 전자가
멀리 이동하면 할수록 전력을 더 먹고
그러니까 열도 발생하고 신호도 약해질
수밖에 없는데이 전자가 이동하는이
전기 신호가 움직이는 거리를 줄이고
더 빨리 빛으로 광신호로 바꿔 버리는
겁니다. 엔비디아가 베라루빈
플랫폼에서 스펙트럼 X 이더넷
포토닉스를 도입한다고 발표했고 기존
트랜시버 기반 네트워크 대비해서 전력
효율이 무려 다섯 배, AAI 업타임
다섯 배, 디플로이먼트 타임이
1.3배선을 얘기를 했습니다. 단순히
네트워크 장비 발표가 아닙니다. 이건
AI 팩토리가 커지면 커질수록
네트워크 주변 장치가 아니라 공장
내부에 굉장히 빠른 아주 섬세한
신경망이 된다는 거죠. 그다음은
보안, 시큐리티입니다.이 부분은
대중적으로 좀 덜 화려해 볼 수
있는데 엔터프라이즈 기업들 기준으로
보면은 굉장히 중요합니다. 왜냐하면은
에이전트는 채복과 다르게 회사 안에
시스템에 들어가서 막 휘적고 다니기
때문입니다. 파일도 열어야 되고
DV도 조회해 보고 컨피덴셜한
정보들도 막 봐가면서 API도
호출하고 코드를 만들어서 실행하고
권한이 있는 작업까지 실행을 해야
되는데 그 순간 무서운 문제가
발생하는 거죠. 권한 탈치 민감한
데이터가 유출된다는 거. 에이전트가
사람 대신 일을 할 수 있다라는 거는
사람 대신 사고도 칠 수 있다라는
말입니다. 그래서 블루필드 4 STX
같은 장치가 중요해진다라는 거죠.
블루필드 계열은 단순히 데이터 전송을
빠르게 하는 장치가 아닙니다.
데이터가 오가는 길목에서 보안과
격리를 맞는 역할을 한다라는 거죠.이
이 메인 CPU나 OS가 모든 걸
감시하는 방식으로는 부족할 수 있기
때문에 AI 에이전트가 파일과
네트워크를 오가는 순간 그 관문에서
하드웨어적으로 감시하고 통제할 필요가
생긴다라는 겁니다. GPU는 두뇌를
돌리고 베라 CPU는 일을 조율를
하고 스펙트럼 X는 신경망을깐 다음에
블루필드는 데이터 관문을 지키는
역할을 하는 겁니다. 그리고이 전체
공장을 운영하는 시스템이 바로
DSX입니다. 이렇게 보면 M비디가
왜 GPU 말고 이런 것까지 만드는게
살짝 이해가 되기도 합니다. AI가
돈을 벌기 시작하면 그 돈을 버는
흐름에 모든 병목을 잡고 싶어
하겠죠. 여기까지가 클라우드와 데이터
센터 이야기라면은 젠스당은이 흐름을
PC와 로봇으로도 확장을 했습니다.
RTX 스파크의 발표는 AI
에이전트를 개인 PC로 끌어내리려는
방향인데요. 모든 에이전트가
클라우드에서만 돌아갈 필요는
없습니다. 개인 데이터라든가 로컬
파일 프라이버시가 중요한 작업은 PC
안에서 돌아가는게 유리할 수 있겠죠.
Nvidia is
reinventing all of
PC and today we're
announcing a whole
new line. Three
revolutionary
Windows machines
covering desktop,
laptop and
workstations. All
100% Windows
compatible 100%
Nvidia AI
runs that runs on
these worlds here.
로이터의 보도에 따르면은 RTX
스파크는 마이크로소프트와의 협력
미디어택과의 개발을 통해서 나왔고
델과 HP, 레노보, 에이서스,
마이크로소프트 등의 PC 생태계와
연결될 예정으로 보가 됐는데요.이
흐름은 기존의 PC의 기준도 바꿀 수
있는 새로운 라인업입니다. 예전에는
PC를 고를 때 CPU 성능, 그래픽
성능, 배터리 같은 걸 봤잖아요.
앞으로는 내 PC가 얼마나 강력한
로컬 에이전트를 돌릴 수 있느냐
요런게 중요한 기준으로 다시 나올 수
있다라는 거죠.
그리고 로봇 쪽에서는 유니트
H2플러스를 레퍼런스 바디로 쓴
발표가 눈에 띄었는데요. 엔비디아가
아이작 그루트 레퍼런스 휴모노이드
로봇을 발표하면서 유니트리 H2플러스
휴모노이드 바디 샤파의 파브 핑글드
핸드 제슨토르 온보드 컴퓨터 아이작
그루트 소프트웨어 스택을 결합한 오픈
레퍼런스 디자인을 제시했다는 겁니다.
이게 의미하는 거는 엔비디아가 로봇
완제품 회사를 하겠다라는게 확실히
아니다라는 거죠. 레퍼런스입니다.
로봇의 몸은 유니트리 같은 회사가
만들고 손은 샤파 같은 회사가 만들고
엔비디아는 그 위에 두뇌와 신경계를
잡혔다는 겁니다. 제슨 도르가 온보드
컴퓨터라고 하면은 아이작 그루트는
로봇이 보고 이해하고 행동하도록
만드는 소프트웨어와 모델 스택에
가깝죠.이 이 발표 직후의 유닛트리는
IPO를 한 것으로 알려졌고
휴머에이드 로봇 시장에서 빠르게
성용한 움직임을 보이는 회사로
주목받고 있는 상황입니다. 물론
여기서도 과장을 하면 안 됩니다.
레퍼런스 디자인이 곧 대량 상용화
성공을 의미하는 건 아니죠. 그렇지만
엔비디아가 로봇의 몸을 직접
만들기보다 로봇 산업의 둔해 신경계
개발 플랫폼이 대려하고 있다는
포인트는 여전히 중요합니다. 자,
이번 키노트는 엔비디아가 지표를
버리고 CPU 회사가 된다. 뭐 이런
얘기도 아니고 지표가 너무
중요해졌나도
중요해졌기 때문에 GPU 주변의 모든
병목을 엔비디아가 직접 다
설계하겠다라는 이야기로 해석해야
됩니다. 베라시도 GPU를
대체하려는게 아니라 GPU가 더
오래, 더 바쁘게, 더 수익성 있게
일하도록 만드는 장치 가깝죠. 또
하나 AI 팩토리라는 말이 그냥
데이터 센터를 멋있게 부르는 마케팅
용어라고 하기보다는 뭐 물론 마케팅
표현이 있죠. 그런데 이게 좀 더
구체됐다라는 겁니다. 토큰 코스트를
극단으로 줄이고 전력당 토큰의 성능을
더 올린다는 거. 그리고 에이전트
스루프을 높이고 타임투 first
프로덕션 요런 지표들이 등장한다는 거
자체가 AI 인프라를 공장처럼
설계하고 측정하겠다라는 뜻이 되기도
하죠. 마지막으로 로봇 발표도 당장
내년에 르큐모이드가 거리와 공장에
쏟아진다라는 뜻은 아니지만 로봇을
움직이는 AI 스택을 누가 장악하느냐
이미 시작된 싸움이라는 겁니다.
스마트폰 시대에 iOS와 안드로이드
같은 운영 체제가 중요했던 것처럼
로봇 시대에는 피지컬 AI 플랫폼이
중요해지는 상황에서 엔비디아가 그
자리를 선점하겠다는 겁니다. 앞으로
봐야 할 포인트는 먼저 베라루빈의
실제 양상과 공급이 되겠죠. AI
팩토리가 칩 하나가 아니라 서버 냉각
전력 네트워크 스토리지 제조 영향이
다 붙어야 되는 상황이죠. 이번
GTC 타이페이에서 타이완 서플라이
체인이 계속 강조된게 이런 이유
때문입니다. 그다음은 실제로 베라
CPO가 뉴욕 증권 거래서 사회에
같은 상징적인 뉴스 외에도 실제로
증권 거래서 어느 규모로 배치가 될
것인지 앞으로 클라우드와
엔터프라이즈에서 얼마나 빠르게
채택될지도 살펴봐야 하겠죠. 케이던스
같은 에이전트 사례도 앞으로 기업들이
이걸 얼마나 신뢰를 가지고 쓸 수
있느냐 요런 부분도 봐야 될 거고
네트워크 적도 CPO와 스펙트럼 X
이더넷 포토닉스가 실제 배치에 얼마나
잘 적용되는지도 봐야 할 겁니다.
제가 GTC 타이에서 본 것은
이겁니다. AI가 돈을 벌기 시작하자
컴퓨팅의 의미가 달라졌다. 모델을 잘
만드는 회사보다 인프라를 제대로
만드는게 중요해졌다. 그래서
엔비디아는 이제 더 빠른 칩을 파는
회사로 스스로를 설명하지 않습니다.
퓨트 is revenue라고 하는이
시대에 그 돈이 만들어지는 생산 라인
전체를 설계하는 회사가 바로
엔비디아라고 하는 거 스스로를 그렇게
포지셔닝하고 있죠. 이번 키노트는
그래서 단순히 기술 발표가 아니라
산업의 병목이 어디로 이동하고
있는지를 보여준 사건에 가깝다고 저는
개인적으로 생각하고 있는데요. GPU
전쟁으로 시작된이 거대한 흐름 이제
팩토리 전쟁이 될 수 있습니다.
그리고 그 팩토리 공장을 누가
설계하느냐가 다음 AI 산업에 질서를
바꿀 수도 있다는 생각이 듭니다.
지금까지 타이페이에서 에러였습니다.