CLOUD

VMware Intros Private AI Cloud, AI Factory As Workloads Shift To On-Prem

기업들이 AI 실험 단계에서 대규모 프로덕션 배포로 이동하면서 발생하는 지속적인 비용, 주권(sovereignty), 보안 문제는 AI 워크로드를 퍼블릭 클라우드 환경에서 온프레미스 프라이빗 클라우드 및 AI 팩토리로 이동시키는 동력이 되고 있으며, 이는 많은 조직에게 지배적인 데이터센터 모델이 되고 있습니다. 리서치 회사 Omdia는 글로벌 데이터센터 투자가 2030년까지 거의 1조 6천억 달러에 달할 것으로 예측하고 있으며, 올해만 기술 기업들이 AI 인프라에 6,000억 달러 이상을 지출할 것이라고 합니다.

이는 전통적인 데이터센터에서 '지능(intelligence)을 생산하도록 설계된 인프라'인 AI 팩토리로의 상당한 도약이며, AI 팩토리는 토큰 생성이 중심이 되고

Broadcom의 VMware Cloud Foundation Division 마케팅 부사장인 Prashanth Shenoy에 따르면, Tanzu 개선 및 AI 분야의 중요한 보안 문제와 관련된 추가 기능들을 포함하는 최신 움직임들은 VMware 사용자들이 자신들의 환경으로 AI 워크로드를 더 쉽게 이동시키는 데 도움을 줄 것이라고 합니다.

Shenoy는 Explore 사전 미디어 브리핑에서 기자들에게 “조직들이 AI 애플리케이션 및 워크로드의 파일럿 배포 단계에서 대규모로 수행되는 프로덕션 AI 배포 단계로 이동함에 따라, 데이터 프라이버시, 복원력(resiliency), 인프라 가용성 측면에서 비용과 보안과 관련된 주요 문제들에 직면하고 있다”고 말했습니다. “이것은 많은 조직들이 워크로드를 본거지로 돌려(repatriate) 일부 프로덕션 AI 워크로드를 온프레미스 및 프라이빗 클라우드 환경으로 다시 운영하게 만들고 있습니다.”

그는 1,800명의 IT 의사결정권자를 대상으로 한 VMware의 6월 설문조사 결과를 언급하며, 응답자의 56%가 조직이 프라이빗 클라우드에서 프로덕션 추론(inference)을 운영하고 있거나 계획하고 있다고 밝혔습니다. 또한 62%는 비용에 대해 우려하고 있으며, 51%는 보안 문제로 인해 AI 워크로드를 본거지로 돌리고 있다고 답했습니다. 이 설문조사에서는 이러한 워크로드에 공용 클라우드(public cloud)를 사용하는 비율이 전년 대비 15% 감소하여 41%를 기록한 것으로 나타났습니다.

그는 “비용 및 보안 환경 때문에 추론, 파인튜닝(fine-tuning), 다양한 종류의 AI 사용 사례 등 프로덕션 워크로드를 프라이빗 클라우드 온프레미스에서 운영하는 것을 선호하고 있다”며, VMware Private AI Cloud가 “고객들에게 제공할 수 있는 비용 효율성 문제, 최첨단 AI 모델 기반 보안 환경에서의 보안, 그리고 고객들이 AI 애플리케이션 및 워크플로우를 구축하는 에이전틱(agentic) 방식으로 이동하는 것까지도 해결하는 데 도움을 준다”고 덧붙였습니다.

VCF 9는 이미 여러 공급업체의 CPU, GPU 및 기타 가속기, 그리고 OEM 및 ODM의 서버 하드웨어를 지원합니다. 이제 VMware AI Factory를 기반으로 하는 Private AI Cloud가 등장했습니다. VMware AI Factory에는 Dell Technologies, Cisco Systems, Lenovo, Supermicro 등과 같은 하드웨어 제조사의 VCF AI ReadyNodes가 포함되어 있습니다. 또한 AMD의 Instinct MI350 Series GPU와 AMD 하드웨어용 GPU 가속기, AI 및 HPC를 위한 오픈 소프트웨어 플랫폼인 open ROCm을 포함한 AMD 기술을 활용합니다.

Shenoy에 따르면 이 AI 팩토리들은 VMware와 모회사 Broadcom에 의해 테스트되었습니다.

그는 “이는 매우 중요한 부분입니다. 왜냐하면 저희는 점점 더 많은 고객들이 데이터가 있는 곳에서 AI를 실행하기를 원하고, 그 반대는 아니라는 것을 목격했기 때문입니다”라며, “데이터를 모델로 가져오고 싶어 하지, 모델을 데이터로 가져오지 않습니다. 하지만 메탈(metal)부터 모듈까지 전체 AI 인프라를 구축하는 것은 매우 수동적인 과정입니다. 고객들은 인프라를 세우고, 적절한 GPU 크기와 폼 팩터로 서버를 조립하며, 네트워킹, 스토리지 요구 사항, 컨테이너 워크로드를 위한 Kubernetes, AI 소프트웨어 스택, 그리고 SLM(small language models), LLM, 오픈 소스 및 오픈 웨이트 모델과 같은 다양한 종류의 모델을 갖추어야 합니다.”라고 말했습니다.

대신 VMware는 AI 팩토리를 통해 MetalSoft 플랫폼을 거쳐 전체 통합 패키지를 제공하며, 이 플랫폼은 기반 하드웨어와 소프트웨어를 통일하여 운영할 수 있게 해줍니다.

VMware는 VCF 9를 통해 AI Factory에서 실행될 수 있는 150개 이상의 오픈 및 상용 AI 모델로도 확장하고 있으며, Nvidia의 Nemotron 3, Google DeepMind의 Gemma 4, Alibaba의 Qwen 3.7-Max, NEC의 cotomi, Z.ai의 GLM 5.2 지원을 추가합니다.

VMware는 격리된 네임플레이트를 통해 테넌트와 사업부 간에 AI 모델을 공유할 수 있는 기능과 같은 새로운 AI 서비스를 도입합니다. 이는 보안을 보장하고 동일한 모델을 배포할 필요성을 없애줍니다. 클라우드 환경과 온프레미스 환경 전반에 걸쳐 통합된 모델 거버넌스를 보장하는 AI Gateway, 그리고 에이전트 코드 실행을 격리하기 위한 가상화된 컨테이너 공간인 보안 AI 샌드박스가 포함됩니다. OpenAI와 Anthropic의 에이전트가 샌드박스에서 탈출하여 타사 IT 환경을 손상시킨 사례 이후, 고도로 안전한 샌드박스는 에이전트형 AI(agentic AI) 분야의 주요 초점이 되고 있습니다.

다른 보안 제어에는 오픈 소스 AI를 검증하는 Broadcom의 TrueSource, 에이전트형 AI 워크로드를 위한 제로 트러스트 보안을 포함하도록 개선된 vDefend, 그리고 VMware의 Avi 로드 밸런서를 통한 에이전트형 위협 방어가 포함됩니다. 이 로드 밸런서는 에이전트가 승인되지 않은 도구에 접근하거나, 제어 장치 없이 제로데이 공격을 실행하거나, 민감한 데이터를 유출하는 것을 막는 또 다른 도구입니다.

마찬가지로 VMware는 Private AI Cloud를 위한 에이전트 플랫폼인 Tanzu를 강화하여 '기본적으로 거부(deny-by-default)' 격리 모델을 갖춘 강화된 에이전트 샌드박스를 포함한 더 강력한 보안 기능을 제공합니다. 이는 프롬프트 주입 공격과 사용자가 승인하지 않은 네트워크 접근을 방지하기 위해 자격 증명을 격리합니다. AI 준비 데이터 기반(AI-ready data foundations)은 온사이트에서 구조화된 데이터와 비구조화된 데이터를 모두 처리하여 에이전트의 정확도를 높이고, 토큰 비용을 낮추며, 환각 현상을 줄이는 데 도움을 줍니다.

개발자에게 사전에 승인된 에이전트 스킬, 워크플로우 빌드팩, 인간 개입(human-in-the-loop) 제어 및 통합 메모리 서비스를 제공하는 준비된 하네스(harness)가 목표입니다. 또한 개발자와 에이전트가 검증된 AI 모델 및 도구에 보안 연결할 수 있는 마켓플레이스가 있으며, 규정 준수 및 감사 목적으로 에이전트가 수행하는 모든 작업을 모니터링하고 기록하기 위한 AI 게이트웨이가 제공됩니다.

Shenoy는 이러한 기능들이 필수적이라고 말했습니다. 왜냐하면 모든 자율 AI 에이전트가 코드를 동적으로 생성하고 실행하기 때문에, 적절한 거버넌스(governance) 없이는 보안 위험을 초래하며, '이 에이전트가 도구에서 무엇에 접근할 수 있는지, 데이터에서 무엇에 접근할 수 있는지, 어떤 에이전트가 다른 에이전트와 통신할 수 있는지' 등의 문제가 발생하기 때문입니다. 이 프레임워크는 에이전트를 격리된 보안 컨테이너(isolated secure containers) 내부에 가두고, 어떤 도구 및 에이전트와 통신할 수 있는지 규제할 것입니다.