Dell Tech World 2024: 주권 및 온프레미스 AI 중심의 전략 발표

이번 주 Dell Technologies World가 시작되었습니다. 이 다작하는 OEM의 연례 기술 컨퍼런스이자 무역 박람회입니다. Dell은 다양한 클라이언트 및 서버 세그먼트에 걸쳐 주요 제품군을 보유하고 있지만, 시대의 흐름과 Dell의 핵심 우선순위가 어디에 있는지를 보여주듯, 행사의 첫날은 AI, 특히 NVIDIA의 하드웨어와 AI Factory 모델을 기반으로 Dell이 구축하고 있는 생태계에 집중되었습니다. Dell은 클라이언트 하드웨어, 서버 하드웨어, 소프트웨어 및 서비스의 조합을 통해, NVIDIA의 우산 아래 Dell AI Factory를 통한 제품군을 지속적으로 확장하며 온프레미스 (On-premises) 기업용 AI에 총력을 기울이고 있습니다.

Dell 주권 및 온프레미스 AI (Dell Sovereign & On-Premises AI)

첫날 기조연설이 이미 AI에 초점을 맞춘 가운데, Dell의 가장 큰 발표들의 중심 주제는 주권 (Sovereign) 및 온프레미스 (On-premises) AI였습니다. 현재 AI 인프라 시장에서 가장 큰 유행어 중 하나인 것은 분명하며, Dell은 AI가 실험 단계를 넘어섰으며 고객들이 이제 비즈니스 전반과 국가 전역에 AI 하드웨어를 배포할 준비가 되었다고 믿고 있습니다. 이를 위해 Dell은 많은 고객이 가치 있는 데이터를 도난으로부터 보호하거나, 자체적으로 AI 모델을 개발하고 실행할 수 있는 능력을 확보하거나, 혹은 단순히 더 일관되고 예측 가능한 AI 비용을 유지하기 위해 이 모든 AI 연산을 온프레미스 (On-premises)에서 수행할 수 있어야 한다고 주장합니다.

온프레미스 AI 인프라를 구축함에 있어 Dell의 고객들은 하드웨어뿐만 아니라 그 위에 올라가는 소프트웨어와 서비스도 필요할 것입니다. 이것이 바로 Dell이 고객을 위한 생태계에 가치를 더하고, OEM으로서의 입지를 다지려는 지점입니다. Dell의 관점에서 이는 고객에게 최신 프런티어 AI 모델 (Frontier AI models)에 대한 접근 권한을 제공하고, 이를 Dell 하드웨어에서 최대한 쉽게 실행할 수 있도록 만드는 것을 의미합니다.

프런티어 모델 (Frontier model) 측면에서, Dell은 오늘 키노트(Keynote)를 통해 거의 모든 주요 프런티어 모델 개발사들과의 파트너십을 발표하거나 재확인했습니다. OpenAI, Palantir, SpaceXAI, Google, Reflection, Mistral AI 등은 자신들의 프런티어 모델을 온프레미스 (On-premises) 환경에서 사용할 수 있도록 하겠다고 발표했으며, 이를 통해 고객들은 모델 소유자에게 데이터를 제공하지 않고도 최신이자 최고 수준의 모델에 접근할 수 있게 되었습니다. Dell의 주장대로, 이러한 파트너십은 Dell을 통해 이용 가능한 다양한 프런티어 모델의 수 덕분에(다른 OEM과는 차별화되는) 그들의 생태계를 "타의 추종을 불허하는(second-to-none)" 수준으로 만듭니다. 다만, "이 과정에서 Anthropic은 어디에 있는가?"라는 질문은 여전히 유효한 의문으로 남아 있습니다.

프런티어 모델에 대한 접근 권한과 더불어, Dell의 대대적인 온프레미스 AI 추진 전략의 두 번째 핵심은 Dell AI 에코시스템 프로그램 (Dell AI Ecosystem Program)을 통해 이루어질 것입니다. 이는 Dell의 AI 팩토리 (AI Factory) 하드웨어에 AI 모델과 소프트웨어를 배포하기 위한 검증 및 청사진 (Blueprinting) 프레임워크입니다. 다른 OEM 검증 프로그램과 마찬가지로, Dell의 공식 에코시스템 프로그램은 기업 고객에게 Dell 하드웨어와의 호환성이 검증된 패키지와 청사진을 제공하고, 보안 및 신뢰성을 위한 베스트 프랙티스 (Best practices)를 적용함으로써 AI 소프트웨어 배포를 단순화하는 것을 목표로 합니다. 즉, 고객이 자신만의 AI 팩토리를 구축하고 가동하는 것을 더 쉽게 만드는 것입니다.

궁극적으로 Dell은 하드웨어와 소프트웨어 결합 상품을 통해, 자체적인 온프레미스 AI 인프라를 구축하려는 기업은 물론 국가 단위의 고객들에게도 핵심적인 차별화 요소가 되고자 합니다.

서버 하드웨어: Dell PowerRack, PowerFlex, & PowerCool

회사의 소프트웨어/서비스 제공 사항과 더불어, Dell은 AI 팩토리 생태계를 위한 여러 가지 신규 및 업데이트된 하드웨어도 출시하고 있습니다.

무엇보다도 Dell은 PowerRack 제품군이라는 이름의 완전히 새로운 랙 스케일 (rack-scale) 제품군을 선보입니다. Dell은 랙 스케일 제품으로 19인치 및 21인치 랙을 모두 제공하며, 밀도와 냉각 요구 사항에 따라 공랭 (air cooling) 및 수랭 (liquid cooling) 중 선택할 수 있습니다. 그 안에서 Dell은 컴퓨팅뿐만 아니라 네트워킹 (networking)과 스토리지 (storage)에 초점을 맞춘 개별 설계를 포함하여 다양한 랙 구성을 제공하며, 이 모든 것이 Dell의 완전한 랙 스케일 시스템으로 이루어집니다.

평소 대량의 하드웨어를 구매한 후 직접 랙을 구축해야 했던 고객들에게, Dell은 본질적으로 단일 시스템으로 판매되는 보다 간소화된 턴키 (turn-key) 옵션으로서 PowerRack 설정을 제안할 것입니다. Dell에 따르면, PowerRack은 단 6시간 만에 설치 및 배포가 가능하며, 이는 맞춤형 랙을 구축하는 데 걸리는 시간의 극히 일부에 불과합니다. STH는 이러한 통합 랙들이 제작되는 Dell의 AI Factory 내부를 살펴보며 Dell이 이를 어떻게 수행하는지 견학했습니다.

PowerRack이 Dell의 기존 랙 스케일 시스템을 완전히 대체하는 것은 아니지만, 상당 부분 이를 보완하고 대체할 것입니다. 이는 특히 Dell이 이전에는 랙 단위로 네트워킹 장비를 제공하지 않았던 네트워킹 측면에서 더욱 그러합니다. PowerRack 네트워킹 구성은 NVIDIA의 Spectrum SN6600-LD 이더넷 (Ethernet) 스위치의 브랜드 버전인 Dell의 PowerSwitch SN6600-LD 8개를 채택할 예정입니다. 네트워킹 PowerRack은 동서 트래픽 (east-west traffic)에 대해 800Tb/sec 이상의 스위칭 용량을 제공합니다.

한편, 스토리지 측면에서 Dell은 여러 방식으로 제공 범위를 확장하고 있습니다. 각각 최대 245TB 크기의 SSD를 수용할 수 있는 10+ PB 규모의 스토리지 랙인 Exascale Storage용 PowerRack을 통해 스토리지 랙 전체를 제공하는 것 외에도, 회사는 랙에 저장할 수 있는 데이터 유형 배열에 블록 스토리지 (block storage)를 추가함으로써 기반 스토리지 하드웨어의 유연성을 개선하고 있습니다. Dell은 이를 PowerFlex라고 명명했으며, 이는 기존의 파일 스토리지 (file storage, PowerScale) 및 오브젝트 스토리지 (object storage, ObjectScale) 지원에 추가됩니다.

마지막으로, 이러한 고밀도 랙(racks)의 냉각을 돕기 위해 Dell은 액체 냉각 (liquid cooling)을 위한 새로운 랙마운트 냉각 분배 장치 (cooling distribution unit, CDU)인 PowerCool CDU C7000을 출시합니다. C7000은 GPU/AI 성능과 전력 밀도 (power density) 면에서 새로운 기록을 세울 NVIDIA의 차세대 Vera Rubin NVL72 플랫폼용 랙을 지원하도록 설계되었습니다. 주목할 점은, 이 4U CDU가 220kW 이상의 열을 냉각할 수 있도록 설계되었으며, Dell은 이 CDU가 최대 40°C에 달하는 비교적 높은 유입 수온을 처리할 수 있다고 밝혔습니다.

클라이언트 플랫폼: Dell Deskside Agentic AI

서버와 더불어, Dell은 Dell Deskside Agentic AI라고 명명한 플랫폼을 통해 클라이언트 수준에서의 온프레미스 추론 (on-premises inference) 시장에서도 대대적인 공세를 펼치고 있습니다. 하드웨어와 소프트웨어의 결합인 Dell의 클라이언트 AI 제품군은 NVIDIA의 다양한 클라이언트 하드웨어를 적극적으로 활용하며, 이를 에이전틱 AI (agentic AI)를 지원하는 데 필요한 (그리고 최신의) 소프트웨어 스택 (software stacks)과 결합합니다.

하드웨어 측면에서 Dell은 현재 크고 작은 NVIDIA 기반 시스템의 전체 라인업을 제공하고 있습니다. 여기에는 Dell의 SFF GB10 기반 시스템, GB10을 탑재한 Dell Pro Max, 그리고 개별 NVIDIA 비디오 카드를 장착할 수 있는 다양한 Precision 타워 PC가 포함됩니다. 한편, Dell 하드웨어 제품군의 하이엔드 영역에서는 첫 번째 GB300 기반 DGX Station 시스템인 Dell Pro Max with GB300의 출하가 최근 시작되었습니다. GB300은 워크스테이션급 하드웨어의 정점을 나타내며, 전력 소비 관점에서는 Dell이 출하할 수 있는 가장 강력한 시스템입니다. 그 이상의 사양은 표준 북미 전력 회로 (North American power circuit)에 너무 과도한 부하를 줄 수 있기 때문입니다.

이러한 모든 하드웨어는 결과적으로 에이전트형 AI (Agentic AI) 시스템을 로컬에서 실행하는 데 활용될 것입니다. 이는 AI 추론 (Inference)을 구동하는 것뿐만 아니라, 에이전트의 실행 (Execution)까지 포함합니다. 소프트웨어 측면은 주로 NVIDIA의 소프트웨어 스택을 Dell이 구현한 형태이며, Dell은 NVIDIA의 NemoClaw를 기반으로 한 스택을 제공합니다. NemoClaw는 Nemotron 모델과 결합된 OpenShell 런타임 (Runtime)입니다. NVIDIA는 OpenClaw의 폭발적인 인기 이후 에이전트형 AI (Agentic AI)를 빠르게 수용해 왔으며, Dell 또한 그 연장선상에서 이를 따르고 있습니다.

오늘 발표된 Dell의 서버 발표와 마찬가지로, Dell Deskside Agentic AI의 핵심은 고객이 온프레미스 (On-premises)에서 AI 워크로드 (Workload)를 실행하는 데 필요한 도구를 제공하는 것이며, Dell은 NVIDIA AI 스택 위에 자사의 보안 소프트웨어와 서비스를 구축합니다. 궁극적으로 Dell은 자사의 에이전트형 AI (Agentic AI) 스택이 코딩, 연구 및 기타 보조 기능을 포함한 수많은 클라이언트 AI 역할을 수행하는 데 사용될 것으로 보고 있으며, 이 모든 과정은 클라우드에서 개인 데이터를 사용할 때 발생하는 보안 및 법적 리스크 없이 이루어집니다.

마지막으로, Dell은 클라이언트 부문 노력을 즉각적으로 실행에 옮길 것입니다. 하드웨어와 소프트웨어가 이미 출하되고 있으므로, Dell은 Dell Deskside Agentic AI 스택을 즉시 제공할 수 있습니다.