Caixin Global은 11월 8일 (기자 왕비웨이) 보도했습니다. 대규모 언어 모델(LLM)이 텍스트와 이미지 생성을 일반화하면서, 글로벌 기술 거인들은 'Physical AI'에 주목하고 있습니다. 이는 인공지능을 디지털 화면 밖으로 꺼내 현실 환경에서 감지, 추론, 의사결정 및 상호작용하며 직접 기계의 움직임을 구동하는 것을 의미합니다.
Physical AI의 다양한 구현체 중에서는 이미 양산되어 차량 전체에 카메라와 레이더 센서가 탑재된 자율주행차가 가장 먼저 상업적 폐쇄 루프를 구축한 실험장이 되었습니다.
Wancheng Investment Bank의 총지배인 우페이둥(吴沛东)은 Caixin Global 기자에게 데이터 규모, 공급망, 현금 흐름이라는 세 가지 조건 모두를 현재 자동차만이 충족할 수 있다고 말했습니다. 중국 국내에서는 매년 2천만 대 이상의 승용차가 운행되며, 데이터 전송의 한계적 수집 비용은 거의 제로에 가깝고, 센서나 배터리 같은 부품들은 이미 성숙 단계이며, 소비자들 역시 지능화 기능에 기꺼이 비용을 지불할 의사가 있습니다. 반면, 2025년 글로벌 휴머노이드 로봇 출하량은 약 1만 8천 대 수준이며, 데이터 수집은 원격 조작이나 동작 포착에 의존해야 합니다.
NVIDIA는 2026 회계연도(2026년 1월 25일 기준)에 자동차 사업 부문 매출이 23.49억 달러를 기록하며 전년 대비 39% 증가했습니다. 하지만 중국의 지능형 전기차 시장에서 NVIDIA 차량용 칩은 경쟁 심화에 직면하고 있습니다. Nio, Xpeng Group, Li Auto와 같은 자동차 회사들이 차세대 자체 개발 자율주행 칩을 탑재하는 것을 순차적으로 추진하고 있으며, Horizon Robotics와 같은 국내 자율주행 칩 업체들 역시 높은 가성비 솔루션 시장에서 점유 규모를 확대하고 있습니다.
NE 시대의 데이터에 따르면, 2026년 8월 기준 중국 승용차 보조 주행 영역 제어(域控) 칩 장착 총량은 약 81만 개로 추정되며, NVIDIA가 30.2%의 점유율로 1위를 차지했습니다. Horizon Robotics와 Huawei는 각각 19.8%, 14.8%로 2위와 3위에 올랐습니다. 2026년 1월부터 2월까지 NVIDIA의 점유율은 45.1%를 기록하며 Horizon Robotics보다 35.8%p 앞섰으나, 8월에는 격차가 10.4%p로 줄어들었습니다.
동시에 여러 선두 자동차 회사들은 올해 '세계 모델(World Model)' 및 '비전-언어-액션(Vision-Language-Action)' 대규모 모델 방향으로 전환하고 있으며, 경쟁의 초점은 차량용 칩에서 클라우드 기반 모델 학습으로 확장되고 있습니다.
최근 Caixin Global 기자는 NVIDIA 관련 여러 전문가들과 교류한 결과, 자율주행차라는 Physical AI 핵심 구현체를 중심으로 NVIDIA의 기술 로드맵과 상업적 논리가 눈에 띄게 변화했음을 알게 되었습니다. 클라우드 측면에서는 NVIDIA가 기본 세계 모델(World Model)과 시뮬레이션 도구를 업계에 무료로 개방하고, 수익은 주로 컴퓨팅 파워 수요에서 얻고 있습니다. 차량 측면에서는 자동차 회사의 비용 절감 요구를 중심으로 소프트웨어 최적화를 진행하고 있습니다. 이 기술 스택은 다음 단계로 무인 운전 및 로봇 분야까지 확장될 예정입니다.
모델 무료 개방의 배경
올해 들어 엔드투엔드(End-to-End) 대규모 모델은 국내 자동차 회사의 자율주행 업그레이드를 위한 표준 장비가 되었지만, 실제 도로 상황에서는 기존의 엔드투엔드 모델이 카메라 화면을 단순히 방향 전환이나 제동 동작으로 변환할 뿐, 물리 세계의 인과 논리를 이해하지 못합니다.
예를 들어, 차량이 교차로에서 경찰관의 수신호를 통해 교통 지시를 받을 때, 일반적인 엔드투엔드 모델은 '앞에 사람이 있어 피해야 한다'는 것만 인식할 뿐, 그 손짓의 의미를 해석하지 못합니다. 물리 법칙과 상식을 이해하는 '세계 모델'과 추론 능력을 갖춘 모델을 도입하면, 자동차는 숙련된 운전자처럼 복잡한 도로 상황을 이해하고 예측할 수 있게 됩니다.
하지만 물리 법칙을 이해하는 기반 대규모 모델을 처음부터 학습시키는 문턱은 매우 높습니다. 공개 자료에 따르면, 2026년 1분기까지 Tesla가 가동한 Cortex 1 학습 클러스터는 10만 장 이상의 NVIDIA H100 그래픽 처리 장치(GPU)에 해당하며, 초기 단계인 Cortex 2는 13만 장 이상에 달합니다. 이러한 투자 규모는 대부분의 자동차 회사와 자율주행 기업이 독립적으로 감당하기 어렵습니다.
이에 대해 NVIDIA가 취하는 방식은 먼저 기반 모델을 학습시킨 후 이를 전 세계에 무료로 개방하는 것입니다.
현재 NVIDIA는 Physical AI를 중심으로 네 가지 핵심 모델을 공개했습니다. 여기에는 사전 학습을 담당하는 언어 모델(Nemotron), 물리 법칙 이해의 세계 기초 모델(Cosmos)이 포함되며, 추가 학습 단계에서는 로봇용 GR00T와 자율주행용 Alpamayo가 있습니다.
NVIDIA 관련 직원은 Caixin Global 기자에게 NVIDIA가 모델 개방을 통해 자체 자원과 기술로 업계가 기반 모델을 60% 수준까지 끌어올리는 것을 돕고 싶다고 말했습니다. 자동차 회사들은 소량의 컴퓨팅 파워와 자체 주행 테스트 데이터만으로 후속 미세 조정을 할 수 있습니다. 만약 플랫폼형 기업이 먼저 기반 모델을 만들지 않는다면, Physical AI는 업계에서 진정으로 상용화되기 어려울 것이라는 설명입니다.
클라우드 모델 학습 외에도 실제 도로 테스트를 통해 모든 희귀한 돌발 위험 상황을 모으는 것 또한 어렵습니다. 모델 학습 후 어떻게 저비용으로 안전성을 검증할 수 있는지가 각 자동차 회사들이 직면한 문제입니다.
이에 NVIDIA는 클라우드 학습을 담당하는 컴퓨터(DGX)와 차량 측 추론을 담당하는 컴퓨터(AGX) 사이에 가상 시뮬레이션을 전담하는 컴퓨터(OVX)를 특별히 구축하고, 3차원 가우시안 스플래팅 재현 도구(NuRec)와 폐쇄 루프 시뮬레이션 도구(AlpaSim)를 개발자들에게 공개했습니다. NVIDIA의 설계에 따르면, 자동차 회사는 일반적인 주행 테스트 영상을 편집 가능한 3D 가상 환경으로 변환하여 가상 환경에서 모델 반응을 반복적으로 테스트함으로써 실제 차량 검증 주기를 단축할 수 있습니다.
우페이둥은 이러한 개방 도구들이 “결과가 아닌 시작점을 바꾼다”고 평가했습니다. 이전에는 고도화된 자율주행 시스템 하나를 만드는 데 2~3년의 시간이 걸리고 최소 수십억 위안을 투자해야 했지만, 이제는 팀이 먼저 작동하는 것을 확인한 후 차별화를 진행할 수 있어 초기 시작 주기가 1년 이상 단축될 수 있습니다. 그는 또한 선두 자동차 회사들이 이 도구들을 비교 기준으로 삼고 핵심 기술 스택은 여전히 자체 개발할 것이며, 중소 규모의 자동차 회사는 엔지니어링 팀과 데이터 순환이 부족한 상황에서 이 도구가 납품 가능한 하한선을 제공한다고 덧붙였습니다. 다만, 무료가 비용 제로를 의미하는 것은 아니며, 컴퓨팅 파워, 데이터, 표준화 투자는 여전히 필요하다고 강조했습니다.
대규모 자본을 투입하여 모델과 시뮬레이션 도구를 개방한 후, NVIDIA의 상업적 수익은 어디서 오는가? 회사 측에 따르면, 올해 그들은 자동차 산업의 '개발자'를 '직접 개발하고 판매하는 모든 소프트웨어 기업'으로 정의했으며, 완성차 업체와 지능형 운전(ADAS) 공급업체 모두 여기에 포함된다.
앞서 NVIDIA 관련 직원이 기자에게 전한 바에 따르면, 개발자들이 자신만의 AI를 만들도록 돕는 것이 곧 고객들이 NVIDIA의 플랫폼과 제품을 더 많이 사용하게 만드는 길이라고 한다. 그 설명에 따르면, 자율주행이 로보택시(Robotaxi)로 나아가는 과정에서 자동차 업계 주요 제조사들은 현재 NVIDIA가 개방한 기술 및 도구 체인을 대량으로 사용하고 있다. 산업 전체가 고도화된 지능형 주행(ADAS)으로 진화하는 한, 이 개방형 프레임워크는 궁극적으로 NVIDIA의 클라우드 기반 훈련 및 시뮬레이션 서버 컴퓨팅 자원에 대한 지속적인 수요로 전환될 것이라는 것이다.
차량 업체들의 차량 내 '비용 절감' 노력
대규모 모델(LLM)이 클라우드에서 훈련 및 시뮬레이션 검증을 마친 후, 최종적으로는 자동차의 온디바이스(Edge) 칩에 탑재되어 실시간으로 구동되어야 한다. 경쟁이 치열하고 가격에 민감한 중국 자동차 시장에서 차량 업체들은 모델의 속도뿐만 아니라 하드웨어 비용 절감을 요구하고 있다. NIO의 리빈 회장은 올해 4월, NIO가 최고 성수기(peak time)에 연간 3억 달러 상당의 NVIDIA 칩을 구매해야 했으나, 자체 개발 칩 덕분에 회사 비용을 많이 절감했다고 밝혔다.
차량 내 추론 단계에서는 국내에서 광범위하게 양산되는 Orin 칩(컴퓨팅 능력 254 TOPS, 즉 초당 254조 회 연산)에 이어, NVIDIA는 컴퓨팅 능력이 최대 2000 TFLOPS(초당 2000조 부동소수점 연산)에 달하는 차세대 차량용 칩 Thor와, 파라미터 수가 단지 20억 개(2B)인 경량 추론 모델, 그리고 엣지 디바이스에 배포 가능한 40억 개의 파라미터를 가진 월드 모델을 출시했다.
하지만 차량 업체가 실제로 양산하는 과정에서 칩의 이론적 최대 컴퓨팅 성능이 최종 사용자 경험을 대표하지는 않는다. 더욱 중요한 것은 하위 소프트웨어 및 시스템 최적화를 통해 기존 컴퓨팅 자원을 최대한 활용하고, 전체 차량 물자 비용(BOM cost)을 낮추는 방법이다.
대규모 모델의 파라미터 수가 방대하기 때문에, 차량 내 탑재 시 직면하는 첫 번째 난관은 기존 차량 모델의 컴퓨팅 자원이 부족하다는 점이다. 현재 국내 다수의 주력 차량 모델은 여전히 이전 세대의 Orin 칩을 사용하고 있으며, 이 하드웨어 자체는 네이티브 FP4 또는 FP8(8비트 부동소수점) 연산을 지원하지 않아 이러한 저정밀도 형식으로 압축된 대규모 모델을 직접 실행할 수 없다.
차롄샤(财联社) 기자는 NVIDIA 측으로부터 Orin과 Thor 두 세대 칩의 하위 소프트웨어 스택이 일관성을 유지하고 있으며, 투기 샘플링 기술(Speculative Sampling; 작은 모델로 여러 토큰을 동시에 예측하여 출력 속도를 높이는 방식) 등의 수단을 결합하여, Orin 플랫폼은 70억 개의 파라미터(7B) 다중 모드 모델 구동 시 초당 70개의 토큰에 달하는 처리량을 보이고, Thor 플랫폼은 4비트 부동소수점 양자화(NVFP4)를 결합하여 초당 176개의 토큰에 달할 수 있다는 점을 파악했다.
차량 내 구현의 두 번째 난관은 저장 칩 가격의 지속적인 상승으로 인한 비용 압박이다. 공개 정보에 따르면, 2026년 3월부터 6월까지 차량 등급(Automotive Grade) 저장 칩 가격이 약 180% 상승했다. 리빈 회장은 올해 3월, 메모리 및 기타 원자재 가격 상승이 고급 신에너지 차량의 비용에 각각 3,000원에서 5,000원 영향을 미치며 총합적으로 만 원 가까이 영향을 준다고 밝힌 바 있다.
이전에 국내 차량 업체들의 지능형 주행 도메인 컨트롤러(ECU)는 일반적으로 32GB 메모리를 탑재해야 했다. 차롄샤 기자가 입수한 정보에 따르면, NVIDIA 중국 엔지니어링 팀은 C++ 언어를 기반으로 한 경량 오픈소스 추론 프레임워크를 개발하고, FP4 양자화 기술을 결합하여 주행 기능과 정밀도를 저하시키지 않으면서 일부 국내 차량 업체가 도메인 컨트롤러 메모리를 32GB에서 16GB로 줄이는 것을 지원했다.
메모리 부담을 줄이는 것 외에도, 국내 차량 업체들은 주변 센서 쪽으로 비용 절감의 초점을 맞추고 있다. 국내 일부 차량 업체는 밀리미터파 레이더 모듈 내부의 처리 칩 자체를 제거하고, 전처리되지 않은 원시 신호(raw signal)를 메인 칩에 직접 보내는 방안을 제시했다. 이에 NVIDIA 중국 팀은 하위 소프트웨어 미들웨어를 수정하여, 주 칩 내부의 유휴 가변 비전 가속기(programmable vision accelerator)가 레이더 원시 신호 연산을 담당하도록 하여 레이더 칩 비용을 절감하게 했다. 알려진 바에 따르면, 이 중국 차량 업체에서 나온 비용 절감 방안은 현재 NVIDIA 글로벌 표준 소프트웨어 버전에 통합되었다.
하지만 우페이둥(吴沛东)은 차롄샤 기자에게 메모리 축소나 레이더 칩 제거 같은 최적화가 효과적이긴 하지만, 이는 차량 업체들이 자체 개발 또는 현지화된 칩으로 전환하는 속도를 최대 12세대 모델만 지연시킬 뿐, 근본적인 방향을 바꿀 수는 없다고 말했다. 그에 따르면, NVIDIA가 방어할 수 있는 것은 자사 개발을 원하지만 계산상 비효율적이라고 판단한 중간 단계의 차량 업체들이며, 이 기간은 대략 23년 정도라고 봤다. 또한, NVIDIA 자체의 투자는 이미 로보택시(Robotaxi), 해외 완성차 제조사, 그리고 L4급 무인 주행 쪽으로 기울고 있다고 덧붙였다.
L4 무인 주행에서 로봇 공학으로 확장
대규모 모델이 차량 내에 탑재되고 하드웨어 비용이 엔지니어링 최적화를 통해 낮아진 후, 물리적 AI가 공공 도로에서 핸들을 장악하기 위해서는 마지막 안전 및 규제 장벽을 넘어야 한다.
올해 8월 발표된 의무 국가 표준인 《지능형 연결 차량 자율주행 시스템 안전 요구사항》은 2027년 7월 1일부터 시행될 예정이며, 조건부 자동 주행(L3) 및 고도 자동 주행(L4) 시스템을 탑재한 승객용 및 화물차에 적용된다. 이 중 L3 시스템은 운전자 개입 능력 모니터링 기능까지 갖추어야 한다.
현재 국내에서 빠르게 보급되는 고도 보조 주행(L2++)의 안전 책임 주체는 여전히 인간 운전자이며, 차량 내에는 보통 단일 메인 칩만 구성하면 된다. 그러나 L3와 L4 단계로 진입하게 되면, 안전 책임 주체가 시스템 자체로 전환되기 시작한다.
NVIDIA 관련 직원은 차롄샤 기자에게 업계에서 L3에 대한 논쟁이 많다고 전했다. L3는 인간 운전자가 몇 초 내에 차량을 인수해야 하지만, 산만한 운전자는 짧은 시간 내에 도로 상황 인지 능력을 회복하기 어렵다. 게다가 인수가 이루어지기 직전의 그 몇 초 동안, L3가 요구하는 하드웨어 안전 여유(redundancy)는 L4와 거의 차이가 없다.
공개 자료에 따르면, 올해 들어 메르세데스-벤츠와 BMW는 각각 페이스리프트 S클래스와 7시리즈에서 L3 시스템을 취소하고 L2++급 보조 주행으로 전환했다. BMW가 제시한 이유는 시장 수요 부족과 고객의 효용이 제한적이라는 것이었다. Stellantis 역시 2025년 AutoDrive L3 프로젝트를 연기했다.
차량 업체들이 L3 축소를 하는 움직임과는 달리, NVIDIA의 하드웨어 레퍼런스 아키텍처는 L4를 설계 목표로 한다. 무인 주행이 요구하는 '고장 시에도 작동 가능(fail operational)' 조건을 충족시키기 위해, 이 시스템은 독립적인 전원 및 센서 세트 두 개와 더블 Thor 칩 마스터-슬레이브 백업 시스템을 구성하고 있다.
설계상으로 볼 때, 정상 주행 상태에서는 두 개의 칩이 동시에 작동하거나 메인 칩의 제어를 받을 수 있습니다. 만약 메인 칩이나 해당 센서에 결함이 발생하면 백업 칩과 독립 센서가 차량을 인계받아 운행할 수 있습니다. 알고리즘 측면에서 NVIDIA 관련 직원들은 현재 여러 자동차 제조사들이 개방된 Alpamayo 또는 Cosmos 추론 모델을 '심사위원'으로 활용하여 운전 행동의 합리성을 평가한다고 소개했습니다.
저수준 운영체제(OS) 측면에서는 해외 자동차 제조사들이 안전 인증은 받았으나 개발 진입 장벽이 높은 QNX 실시간 운영체제를 주로 선택하는 반면, 국내 자동차 제조사들은 리눅스 시스템을 선호하는 경향이 있습니다. 알려진 바에 따르면, NVIDIA는 전체 스택 보안 체계(Halos) 내에서 QNX 기반의 안전 진단 서비스를 리눅스 시스템으로 이식하여 국내 자동차 제조사들이 과도기적으로 사용할 수 있도록 했습니다.
NVIDIA의 전반적인 계획을 보면, 클라우드부터 차량 단까지의 이러한 소프트웨어 및 하드웨어 아키텍처는 최종적으로 체화 지능(Embodied AI) 로봇 분야로 확장될 예정입니다. 저수준 아키텍처 관점에서 볼 때, 스마트 자동차와 로봇은 물리적 AI 측면에서 높은 동질성을 가집니다.
구체적으로 NVIDIA의 솔루션은 클라우드 단에서 스마트 자동차와 로봇이 동일한 세계 기초 모델(world foundation model)을 공유하게 합니다. 그리고 엣지(단말) 측에서는 자율주행차든 휴머노이드 로봇이든, 저수준에 사용되는 것은 Thor 칩과 통일된 추론 소프트웨어 개발 패키지이며, 차이점은 상위 알고리즘이 최종적으로 '네 개의 바퀴'를 제어하는지 아니면 '두 손과 두 다리'를 제어하는지에 있습니다. NVIDIA는 이미 대규모로 양산되고 있는 스마트 자동차에서 클라우드 훈련부터 가상 시뮬레이션, 그리고 단말 안전 추론에 이르는 폐쇄 루프(closed loop)를 성공적으로 구현함으로써, 이 물리적 AI 솔루션을 로봇 시장으로 복제하는 것을 목표로 하고 있습니다.
하지만 자동차에서 로봇으로 이동한다고 해서 모든 능력이 직접 재사용될 수 있는 것은 아닙니다.
우페이둥(吴沛东)은 업계가 비교적 일치된 견해를 가지고 있다고 말했습니다. 하드웨어 측면에서는 60%에서 70%까지는 재활용할 수 있지만, 나머지 30%에서 40%에 해당하는 부분이 오히려 가장 비싸며, 민첩한 손(dexterous hand), 고자유도 관절(high degree of freedom joint), 힘 촉각(force tactile) 및 운동 제어와 같은 부분은 옮기기가 어렵습니다. 그가 보기에 '자동차로 로봇을 기르는 것'은 제조 및 비용 측면에서는 성립하지만, 능력과 데이터 측면에서는 성립하지 않습니다.
동시에 시장 조사 기관인 Counterpoint Research가 올해 10월 발표한 보고서에 따르면, NVIDIA는 현재 휴머노이드 로봇 GPU 시장을 주도하고 있으며, 테슬라와 샤오펑(小鹏) 자동차는 자체 개발 칩과 독점 AI 모델에 의존하여 휴머노이드 로봇 AI 칩 시장 구도를 바꿀 것으로 예상됩니다. Horizon에서 분사된 Diguar 로봇은 이미 Leju 로봇, Zhuji Power 등 제조사와 협력 관계를 구축했으며, Rockchip(지푸라) 역시 자사의 코프로세서 RK182X 다수 제품 라인이 제품 출시 및 프로젝트 양산 단계에 진입했다고 밝혔습니다. NVIDIA가 이 솔루션을 로봇 시장으로 가져가면서도 여전히 자동차 제조사 자체 개발 모델과 현지 칩 제조업체들의 경쟁에 직면해 있습니다.