기업들이 조용히 AI를 온프레미스(On-Premises)로 다시 옮기고 있는 이유

기업의 42%가 워크로드(Workloads)를 클라우드에서 제외하는 것을 고려하고 있습니다. 특히 AI 인프라의 경우, 그 이유는 비용보다 더 시급합니다.

아무도 예상하지 못한 트렌드
지난 10년 동안의 흐름은 명확했습니다. 모든 것이 클라우드(Cloud)로 이동하는 것이었습니다. 온프레미스(On-premises) 인프라는 비용이 많이 들고 유연성이 부족했으며, 현대화 속도가 너무 느린 기업들의 영역이었습니다.
그러다 2025년이 찾아왔습니다.
현재 기업의 42%가 벤더 종속성(Vendor dependencies)에서 벗어나기 위해 워크로드를 다시 온프레미스로 옮기는 것을 고려하고 있습니다. IT 리더의 57%는 데이터 주권(Data sovereignty) 요구 사항으로 인해 인프라를 단일 국가 내에서 운영해야 할 필요성을 느낀다고 말합니다. Microsoft는 퍼블릭 클라우드(Public cloud)와 완전히 분리되어 실행되는 AI 모델을 위해 특별히 설계된 소버린 클라우드(Sovereign Cloud) 기능을 2026년 2월에 출시했습니다.
클라우드가 사라지는 것은 아닙니다. 하지만 모든 것이 의문의 여지 없이 퍼블릭 클라우드에 존재해야 한다는 가정은 사라지고 있습니다.
특히 AI 인프라의 경우, 그 가정을 재고해야 하는 이유는 다른 어떤 워크로드보다 더 시급합니다.

데이터 레지던시(Data Residency) 문제는 실재하며 악화되고 있습니다
관리형 클라우드 벡터 데이터베이스(Vector database)에서 RAG(검색 증강 생성) 시스템을 실행하면, 귀하의 데이터는 귀하가 선택하지 않았을 수도 있는 지역의 타인 서버에 존재하게 됩니다.
규제 산업의 경우, 이는 단순한 불편함이 아닙니다. 이는 컴플라이언스(Compliance, 규제 준수) 문제입니다.
EU GDPR은 AI 시스템에서 사용되는 개인 데이터가 문서화된 데이터 흐름 및 출처(Provenance)를 갖춘 준수 환경에서 처리될 것을 요구합니다. EU-U.S. 데이터 프라이버시 프레임워크(Data Privacy Framework)는 지속적인 법적 도전으로 인해 법적으로 불확실한 상태로 남아 있으며, 이는 EU 관할권 하에 있는 미국 기반 클라우드 서비스에 저장된 데이터가 불분명한 컴플라이언스 상태에 있음을 의미합니다.
금융 서비스 분야에서는 인도의 RBI 가이드라인, 영국의 FCA 요구 사항, 미국의 FINRA 규칙 모두 민감한 금융 데이터가 어디에서 처리될 수 있는지에 대한 구체적인 요구 사항을 가지고 있습니다. 버지니아의 클라우드 서버에 고객 거래 데이터의 임베딩(Embeddings)을 저장하는 벡터 데이터베이스는 컴플라이언스 팀이 항상 만족스럽게 답변할 수 없는 의문들을 생성합니다.

헬스케어 분야에서는 보호된 건강 정보(PHI)를 처리하는 모든 서비스에 대해 HIPAA 비즈니스 파트너 계약(Business Associate Agreements, BAAs)이 요구됩니다. 대부분의 관리형 벡터 데이터베이스(Managed Vector Database) 제공업체는 상당한 비용 프리미엄을 지불해야 하는 엔터프라이즈 티어(Enterprise Tiers)에서만 BAA를 제공합니다. 자체 호스팅 방식의 온프레미스(On-prem) 배포는 데이터가 조직 자체의 인프라를 절대 벗어나지 않기 때문에 이러한 요구 사항을 완전히 우회할 수 있습니다.

이것은 예외적인 사례가 아닙니다. 이는 BFSI(은행, 금융 서비스 및 보험), 헬스케어, 제약(Pharma), 정부 부문에서 AI 인프라 도입을 가로막는 주요 조달 차단 요소이며, 이들은 모두 프로덕션 AI 시스템을 위한 가장 크고 가치 높은 잠재 고객군을 형성하고 있습니다.

지식재산권(IP) 보호 문제
기업들이 클라우드 기반 AI 인프라를 재고하는 두 번째 이유는 지식재산권(Intellectual Property, IP)입니다.
귀사의 독점적인 연구 데이터, 내부 문서, 고객 데이터, 제품 로드맵, 그리고 조직의 지식(Institutional Knowledge)을 벡터 데이터베이스에 임베딩(Embedding)하면, 해당 데이터베이스는 귀사 조직이 알고 있는 모든 것에 대한 압축된 표현(Compressed Representation)을 포함하게 됩니다. 그 표현이야말로 귀사의 가장 가치 있는 자산입니다.
이를 제3자 클라우드 서버에 저장하는 것은, 예를 들어 이메일 아카이브를 저장할 때와는 다른 차원의 의문을 제기합니다. 임베딩은 데이터의 의미론적 의미(Semantic Meaning)를 인코딩합니다. 귀사의 벡터 인덱스(Vector Index)에 접근할 수 있는 충분한 능력을 갖춘 공격자라면, 원칙적으로 그 내용에 대한 유의미한 정보를 추출할 수 있습니다.
대부분의 기업은 클라우드 제공업체에 대한 능동적인 적대적 공격(Adversarial Attacks)을 걱정하는 것이 아닙니다. 그들은 더 단순한 질문을 고민합니다. '우리의 법적 및 거버넌스 프레임워크(Legal and Governance Framework)가 우리의 가장 민감한 지식재산을 우리가 통제하는 인프라 내에 유지할 것을 요구하는가?' 하는 점입니다. 점점 더 많은 조직에서 그 대답은 '예'입니다.
분자 연구 데이터를 임베딩하는 제약 회사, 고객 문서를 임베딩하는 법무법인, 독점적 트레이딩 전략을 임베딩하는 투자 은행 등, 각 사례에서 조직의 법적 및 경쟁적 입장은 데이터를 자체 경계(Perimeter) 내에 유지해야 한다는 강력한 근거를 제시합니다.

규모에 따른 비용 현실
비용은 클라우드 회귀(Cloud Repatriation)의 세 번째 동인이며, AI 인프라의 경우 대부분의 워크로드(Workload)보다 더 빠르게 이 문제가 발생합니다.
현대의 서버 하드웨어는 5년 전보다 훨씬 더 강력하고 비용 효율적입니다. 64GB RAM과 최신 NVMe 스토리지를 갖춘 잘 구성된 단일 온프레미스(On-premises) 서버는 관리형 클라우드 서비스(Managed Cloud Service)를 사용할 경우 월 800달러 이상의 비용이 드는 벡터 검색(Vector Search) 워크로드를 처리할 수 있습니다.
자체 호스팅(Self-hosted) 인프라가 관리형 대안보다 저렴해지는 손익분기점은 범용 클라우드 컴퓨팅(General-purpose Cloud Compute)에 비해 벡터 데이터베이스(Vector Database) 워크로드에서 훨씬 더 빠르게 나타납니다. HNSW 기반 벡터 검색의 메모리 집약적인(Memory-intensive) 특성 때문에, RAM 용량(GB)당 비용을 지불하는 클라우드 제공업체에서는 프로덕션(Production) 워크로드에 필요한 인스턴스 크기가 매우 비쌉니다.
Basecamp의 분석은 가장 많이 인용되는 사례입니다. 클라우드 종속(Cloud Lock-in)을 피함으로써 5년 동안 700만 달러의 비용을 절감할 것으로 예상했습니다. 이들의 워크로드가 반드시 벡터 검색인 것은 아니지만, 그 원리는 직접적으로 적용됩니다. 규모가 커질수록 인프라를 소유하는 단위 경제성(Unit Economics)이 임대하는 단위 경제성을 앞지르게 되며, 벡터 데이터베이스의 경우 이 현상이 나타나는 규모가 다른 대부분의 워크로드보다 낮습니다.

실제로 작동하는 하이브리드 해답

실질적인 결론은 "클라우드는 나쁘고, 온프레미스(On-Premises)는 좋다"가 아닙니다. 아키텍처 결정은 기본 설정에 따른 가정이 아니라, 각 워크로드(Workload)의 구체적인 요구 사항에 따라 이루어져야 한다는 것입니다.

AI 인프라의 경우, 하이브리드(Hybrid) 접근 방식이 점점 더 정답에 가까워지고 있습니다. 관리형 클라우드(Managed Cloud)에서는 개발, 실험 및 민감도가 낮은 워크로드를 처리하고, 조직이 제어하는 온프레미스 또는 프라이빗 클라우드(Private Cloud) 환경에서는 민감한 프로덕션(Production) 워크로드, 지식 베이스(Knowledge Base) 내의 지적 재산(IP), 그리고 규제 대상 데이터를 처리하는 방식입니다.

이러한 접근 방식에는 두 환경 모두에서 동일하게 작동하는 인프라 구성 요소가 필요합니다. 관리형 클라우드에서 실행되면서도 셀프 호스팅(Self-hosted)으로 이전할 수 있고, 두 환경 모두에서 동일하게 동작하는 데이터베이스는 진정으로 가치가 있습니다. 오직 관리형 클라우드에서만 실행되는 데이터베이스는 정작 필요할 때 선택지를 차단해 버립니다.

온프레미스 배포 옵션을 갖춘 오픈 소스(Open-source) 인프라를 기반으로 구축하는 팀은 컴플라이언스(Compliance) 요구 사항이 진화함에 따라 유연성을 유지할 수 있습니다. 반면 폐쇄형 소스(Closed-source) 관리형 서비스(Managed Services)를 기반으로 구축하는 팀은 대개 곤란한 시점에 자신들의 선택지가 제한적이라는 사실을 깨닫게 됩니다.

기업 구매자들이 실제로 요구하는 것

2026년 기업용 AI 인프라의 조달(Procurement) 대화는 2년 전과 비교해 눈에 띄게 변화했습니다.

2024년의 질문은 주로 성능과 사용 편의성에 관한 것이었습니다. 어떤 데이터베이스가 가장 빠른가? 어떤 것이 최고의 개발자 경험(Developer Experience)을 제공하는가?

2026년의 질문은 다음과 같습니다: 이것이 우리의 인프라에서 실행될 수 있는가? 어떤 인증(Certifications)을 보유하고 있는가? 우리의 데이터는 어디에 상주하는가? 마이그레이션(Migration)이 필요할 때 탈출 경로(Exit Path)는 무엇인가? 감사를 위해 소스 코드를 확인할 수 있는가?

이것들은 규제 산업(Regulated Industries)이 도입하는 모든 인프라 구성 요소에 대해 던지는 질문들입니다. 이제 AI 인프라도 동일한 정밀 조사(Scrutiny)의 대상이 되었습니다. 이 다섯 가지 질문 모두에 긍정적으로 답할 수 있는 벤더(Vendor)들이 2026년 기업 계약을 따내고 있습니다. 앞의 두 질문에만 답할 수 있는 벤더들은 계약을 놓치고 있습니다.

Endee는 모든 환경에서 동일한 API를 사용하는 온프레미스 (On-premises) 배포, 프라이빗 클라우드 (Private cloud), 그리고 Endee Cloud를 지원합니다. ISO 27001 및 SOC 2 Type II 인증을 획득했습니다. Apache 2.0 라이선스 하의 오픈 소스 (Open source)입니다. endee.io에서 귀하의 데이터가 있어야 하는 곳에 배포하십시오.