AI 인프라가 온프레미스(On-Premises)로 전환됨에 따라 하드웨어 역량을 강화하는 Dell

이번 주 라스베이거스에서 개최된 Dell Technologies World 2026 컨퍼런스의 첫날은 약간 익숙한 분위기를 풍겼습니다. 이는 클라우드 컴퓨팅(Cloud Computing)이 널리 채택되기 전, OEM 업체들이 하드웨어만큼이나 최적화 소프트웨어(Optimization Software) 및 유사한 도구들에 대해 이야기하던 몇 년 전의 메아리와도 같았습니다.

하지만 AI, 특히 에이전틱 AI(Agentic AI)와 추론(Inferencing)이 게임의 판도를 바꾸어 놓았으며, 데이터센터(Datacenter)와 엣지(Edge)에서의 인프라(Infrastructure) 쪽으로 추의 방향을 다시 돌려놓았습니다. 그리고 Dell의 창립자이자 최고경영자(CEO)인 Michael Dell은 그의 회사가 이 순간을 맞이할 준비가 되어 있음을 분명히 했습니다.

Michael Dell은 기조 연설(Keynote Address)에서 “모든 산업 분야의 기업에서 AI가 개념 증명(Proof-of-Concept, PoC) 단계에서 생산(Production) 단계로 가속화되고 있다”라고 말했습니다. “이는 전통적인 '구매 대 자체 구축(Buy-vs-Build)' 방정식을 뒤집고 있습니다. 수년 동안의 트렌드는 기성 소프트웨어(Off-the-shelf Software)와 퍼블릭 클라우드(Public Cloud)였습니다. 하지만 이제 AI는 소프트웨어를 통해 경쟁 우위를 표현하는 데 드는 비용과 시간을 단축시키고 있습니다. 그러니 결과가 어떨 것 같습니까? 어디에나 훨씬 더 많은 소프트웨어가 존재하게 될 것입니다.”

이는 Dell이 작년 행사에서부터 제시하기 시작한 입장입니다. 여기서 편집자의 노트를 덧붙이자면, 이는 많은 기업에 있어 클라우드(Cloud)가 직접 구매한 하드웨어를 5년, 6년 또는 7년 동안 최대한 활용하는 것에 비해 비용이 너무 많이 든다는 사실을 인정한 셈입니다. 우리는 Amazon Web Services가 존재했던 이래로, 시간이 흐르면 모든 것을 클라우드로 옮기지는 않을 것이라고 말해왔습니다. 특히 레거시 백오피스 워크로드(Legacy Back Office Workloads)는 더욱 그러할 것입니다.

올해 Dell(기업)은 AI 도입에 관한 Dell(기업)의 설문 조사 결과를 인용하며, AI 워크로드(Workloads)의 67%가 클라우드 외부—온프레미스(On-premises), 디바이스, 엣지(Edge), 또는 코로케이션(Co-location) 시설—에서 실행되고 있으며, 설문 응답자의 88%가 최소 하나 이상의 AI 워크로드를 온프레미스에서 실행하고 있다고 밝혔습니다. 이러한 추세는 조직들의 AI 에이전트(AI Agents) 사용 급증, 즉 "에이전트는 메모리, 자격 증명, 액세스 권한 및 실행 능력을 갖추고 있으며, 이는 업무 자체를 위한 새로운 아키텍처(Architecture)를 요구한다"는 점과, 주권적 AI(Sovereign AI)에 대한 기업의 수요, 그리고 데이터가 생성되고 저장되는 곳에 AI를 더 가깝게 가져가려는 욕구에 의해 주도되고 있다고 Dell은 설명했습니다.

AI 인프라(Infrastructure) 지출의 급격한 성장이 예상됨에 따라 이러한 비전이 뒷받침되고 있습니다. Dell은 지출 규모가 2030년까지 3조 달러에서 4조 달러로 증가할 수 있다는 전망을 제시했으나, 다른 전망치들은 같은 해까지 1.4조 달러에서 최대 7조 달러에 이르는 훨씬 더 넓은 범위를 보여주기도 합니다. (편집자 주: 이 수치들은 2025년 또는 2026년부터 2030년까지의 누적 수치로 판단됩니다. 2030년 단일 연도의 지출 속도가 아닙니다.)

CEO는 "CIO(최고정보책임자)들은 하이브리드 AI(Hybrid AI)로 공격적으로 전환하고 있습니다"라고 말했습니다. "리스크는 클라우드가 아닙니다. 리스크는 데이터, 비용, 보안, 지적 재산, 그리고 속도에 대한 통제력을 잃는 것입니다. 에이전트 시대에 락인(Lock-in)은 혁신을 늦추는 것 이상의 문제를 일으킵니다. 그것은 실제로 회사가 될 수 있는 모습을 제한합니다. 곧 모든 기업은 자신이 통제하는 인프라 위에서 워크플로(Workflows)를 구성하며 에이전트 군단을 배치하게 될 것입니다."

물론 Dell은 온프레미스 AI 아키텍처를 판매하는 데 주력하고 있으며, 그것이 실제로 그들의 생업입니다. 하이퍼스케일러(Hyperscalers)나 주요 클라우드 기업들은 Dell의 PowerEdge 및 PowerStore 하드웨어(Iron)를 구매하지 않으며, 앞으로도 구매하지 않을 것입니다. 그들은 훨씬 더 적은 비용으로 자체 장비를 설계하고 제작할 수 있으며, 하드웨어 비용과 클라우드 청구 비용 사이의 차액을 이익으로 유지할 수 있기 때문입니다.

몇 년 전, Dell은 Nvidia와 함께 Dell AI Factory를 출시했습니다. 이는 독자적인 AI 환경(Sovereign AI environment)을 구축하고자 하는 기업들을 대상으로, Nvidia AI 시스템을 위한 랙(Racks), 서버(Servers), 스토리지(Storage)에 대한 Dell만의 해석을 제공합니다. 현재 약 5,000개의 고객사가 Dell의 기술뿐만 아니라 설계 및 혁신, 엔지니어링, 공급망, 서비스, 지원 및 금융을 포함하는 Dell AI Factory에서 Dell AI 워크로드(Workloads)를 실행하고 있습니다.

Dell은 자사의 AI 기술을 대규모로, 그리고 온프레미스(On-premises) 환경에서 사용 중인 세 기업을 소개했습니다. 제약 거물인 Eli Lilly는 지난 2월, 1,016개의 Blackwell GPU(아래 참조)로 구동되어 9,000 페타바이트(Petabytes) 이상의 성능을 생성하는 Nvidia DGX SuperPOD 기반의 LillyPod 슈퍼컴퓨터를 출시했습니다. 신약 개발에 사용되는 이 시스템에는 대규모 데이터 세트 처리를 위해 초당 거의 2TB의 읽기 대역폭(Read bandwidth)을 제공하는 Dell 스토리지 시스템도 포함되어 있습니다.

Samsung은 반도체 설계, 제조 및 자동화 작업에 Dell AI 기술을 사용하고 있으며, Honeywell은 작년부터 일부 AI 운영을 위해 Dell 및 Nvidia와 파트너십을 시작했습니다.

"AI는 기업용 하드웨어의 르네상스, 즉 비트(Bits)에서 다시 원자(Atoms)로의 전환을 가속화하고 있습니다"라고 Dell은 밝혔습니다. "문제는 보안과 거버넌스(Governance)가 내장된 상태에서, 세계 최고의 모델을 필요한 곳에 어떻게 배포하느냐 하는 것입니다."

Dell은 그 질문에 답하기 위한 회사의 계획을 제시했습니다. 이는 Nvidia와의 협력을 통한 AI Factory의 새로운 기능부터, 기업 내로 AI 모델을 도입하는 것, 그리고 AI 데이터 플랫폼(AI Data Platform)의 강화에 이르기까지 다양한 움직임을 포함합니다.

Dell은 보안 BIOS 및 보안 증명(Security attestations)을 포함하는 기밀 컴퓨팅(Confidential computing) 환경에서 생성형 AI 워크로드를 실행할 수 있도록, 자사의 PowerEdge XE9780 서버(아래 참조)를 통해 Google의 Gemini 1.5 Flash AI 모델을 기업용 온프레미스로 제공하고 있습니다. 또한 OpenAI의 Codex 코딩 모델을 자사의 AI 데이터 플랫폼에 연결하고 있으며, 이를 Dell AI Factory와도 연결하기 위해 노력하고 있습니다.

또한 Dell은 Dell AI Factory를 통해 Palantir의 Foundry 및 인공지능 플랫폼 (AIP), 그리고 Reflection의 오픈 소스 프론티어 모델 (open source frontier models)을 온프레미스 (on premises)로 도입하고 있으며, SpaceXAI의 Grok 추론 및 멀티모달 (multimodal) 기능을 온프레미스 또는 하이브리드 환경 (hybrid environment)에 배포할 수 있는 AI 어시스턴트로 제공할 예정입니다.

Dell은 (아래의) AI 데이터 플랫폼 (AI Data Platform) 내 SQL 워크로드 (workloads)를 위한 AI 분석 플랫폼을 가속화하기 위해 Starburst와 협력하고 있습니다. Starburst의 기술은 Dell의 데이터 분석 엔진 (Data Analytics Engine)에 동력을 공급하며, Dell은 Nvidia의 Blackwell GPU를 사용하여 SQL 분석 속도를 6배 높이고 있으며, 향후 Nvidia의 Vera CPU를 통해 그 개선 효과는 3배가 될 것입니다. 이 벤더는 파일 스토리지 (file storage)를 위한 PowerScale 및 Lightning File System, 그리고 AI, HPC 및 유사한 워크로드를 위한 ObjectScale을 이미 포함하고 있는 Dell Exascale Storage 제품군에 자사의 PowerFlex 블록 스토리지 (block storage)를 추가하고 있습니다.

ObjectScale X7700은 이전 모델보다 HDD 용량이 최대 45% 더 많은 초고밀도 (ultra-dense) 시스템이며, 곧 출시될 245TB 올플래시 (all-flash) 드라이브는 플래시 밀도 (flash density)를 3배 이상 높일 것입니다.

아래의 Dell PowerRack은 컴퓨팅 (compute), 네트워킹 (networking), 스토리지 (storage)를 통합하여 AI 및 HPC 워크로드를 가속화하며, 기업이 추가적인 PowerRack 시스템을 통해 쉽게 확장할 수 있는 인프라를 제공합니다.

---사진: 데이터 센터 내 Dell PowerRack---

데스크사이드 에이전틱 AI (Deskside Agentic AI)는 Dell의 하이엔드 Pro Precision 워크스테이션 (workstations)과 Nvidia의 NemoClaw를 통해 구동됩니다. NemoClaw는 OpenClaw에 보안 및 개인정보 보호 제어 기능을 추가한 오픈 소스 레퍼런스 스택 (open source reference stack)입니다. OpenClaw는 사용자들이 개인용 AI 어시스턴트로 활용하기 위해 시스템에서 자율적으로 실행해 온 매우 인기 있는 오픈 소스 에이전트 (open source agent)이지만, 사이버 보안 업계에서 우려를 낳기도 했습니다.

이는 온프레미스 (on-premises) AI 주장에 힘을 실어주는 또 다른 계기가 되고 있습니다. Dell은 사용자가 "700억(70 billion)에서 2,500억(250 billion) 파라미터 범위, 그리고 최대 1조(trillion) 파라미터에 이르는 최신 오픈 웨이트 모델 (open-weight models)을 실행하면서 로컬에서 에이전트 (agents)를 테스트, 구축 및 미세 조정 (fine tune)할 수 있다"고 밝혔습니다. 또한 "예측 불가능한 클라우드 비용, 대역폭 (bandwidth) 비용 또는 지식 재산 (IP) 유출 위험 없이 이를 수행할 수 있습니다. 이것은 미터링되지 않는 지능 (unmetered intelligence)이며, 공용 클라우드 API (public cloud APIs) 대비 단 3개월 만에 손익분기점을 넘길 수도 있습니다."라고 덧붙였습니다.

---Huang과 Dell의 사진 중 하나---

Nvidia의 공동 창립자이자 최고 경영자 (CEO)인 Jensen Huang는 Dell과 함께 무대에 올라 급격히 진화하는 AI 세계에 대해 논하며, 에이전트형 AI (agentic AI)와 관련하여 다음과 같이 말했습니다. "몇 달이 걸리던 일이 이제는 몇 주가 걸리고, 몇 주가 걸리던 일이 이제는 며칠이 걸리며, 며칠이 걸리던 일이 이제는 몇 시간 만에 끝납니다. 한 시간이 걸리던 일들에 대해 이제 당신과 저는 거의 즉각적인 결과를 기대합니다. 우리는 이제 유용한 AI (useful AI)의 시대에 도달했습니다."