수십 년 동안 엔터프라이즈 데이터 플랫폼은 하나의 가정하에 설계되었습니다:

인간이 데이터의 주요 사용자이다.

데이터 엔지니어(Data engineers)는 파이프라인을 구축합니다.

분석가(Analysts)는 데이터 세트를 탐색합니다.

비즈니스 사용자(Business users)는 대시보드를 소비합니다.

애플리케이션(Applications)은 쿼리(Queries)를 실행합니다.

전체 데이터 스택(Data stack)은 사람들이 정보를 찾고, 변환하고, 분석하는 것을 돕는 방향으로 진화해 왔습니다.

하지만 AI가 새로운 유형의 데이터 소비자(Data consumer)가 되고 있습니다.

그리고 이는 요구 사항을 완전히 바꿔 놓습니다.

차세대 엔터프라이즈 데이터 플랫폼은 단순히 데이터를 저장하고 처리하는 것만으로는 부족할 것입니다.

기계가 데이터를 이해할 수 있도록 도와야 할 것입니다.

전통적인 데이터 플랫폼은 접근을 위해 구축되었다

엔터프라이즈 데이터 플랫폼의 진화는 항상 접근성(Access)을 개선하는 데 집중해 왔습니다.

처음에는 관계형 데이터베이스(Relational databases)가 등장했습니다.

목표는 신뢰할 수 있는 트랜잭션 처리(Transaction processing)였습니다.

그다음 데이터 웨어하우스(Data warehouses)가 나타났습니다.

목표는 중앙 집중식 분석(Centralized analytics)이 되었습니다.

나중에 데이터 레이크(Data lakes)와 레이크하우스(Lakehouses)가 등장했습니다.

목표는 방대한 양의 정형 및 비정형 데이터를 저장하는 것이었습니다.

각 세대는 중요한 문제들을 해결했습니다.

하지만 이들은 동일한 가정을 공유했습니다:

누군가는 이미 데이터 뒤에 숨겨진 비즈니스 의미를 이해하고 있다.

데이터 분석가는 어떤 테이블에 신뢰할 수 있는 매출 수치가 들어 있는지 알고 있습니다.

개발자는 어떤 고객 테이블을 조인(Join)해야 하는지 알고 있습니다.

비즈니스 전문가는 "활성 고객(Active customer)"이 실제로 무엇을 의미하는지 알고 있습니다.

플랫폼은 데이터를 제공합니다.

인간은 이해를 제공합니다.

AI는 데이터의 소비자를 변화시킨다

AI 시스템은 다르게 작동합니다.

분석가는 동료에게 물어볼 수 있습니다:

"어떤 고객 테이블을 사용해야 하나요?"

AI 에이전트(AI agent)는 그렇게 할 수 없습니다.

개발자는 기억할 수 있습니다:

"이 두 테이블을 직접 조인하지 마세요."

AI 에이전트는 그렇게 할 수 없습니다.

비즈니스 사용자는 알고 있습니다:

"매출(Revenue)은 송장 금액(Invoice amount)이 아니라 인식된 매출(Recognized revenue)을 의미합니다."

AI 에이전트는 이를 모를 수도 있습니다.

이는 새로운 아키텍처적 과제(architectural challenge)를 생성합니다.

엔터프라이즈 데이터 플랫폼은 다음과 같은 질문에 답하기 위해 구축되었습니다:

데이터가 어디에 있는가?

AI는 플랫폼이 다음과 같이 답하기를 요구합니다:

이 데이터는 무엇을 의미하는가?

스키마(Schema)만으로는 충분하지 않다

대부분의 AI 시스템은 메타데이터(metadata)로 시작합니다:

• 테이블 (tables)
• 컬럼 (columns)
• 데이터 타입 (data types)
• 관계 (relationships)
• 설명 (descriptions)

이 정보는 유용합니다.

하지만 이는 구조(structure)만을 설명할 뿐입니다.

여러 시스템을 보유한 대규모 기업을 가정해 봅시다:

CRM
 |
ERP
...

각 시스템에는 고객 정보가 포함되어 있을 수 있습니다.

각 시스템은 서로 다른 식별자(identifiers)를 사용할 수 있습니다.

각 시스템은 서로 다른 비즈니스 목적을 가질 수 있습니다.

인간 직원은 이 레코드들이 동일한 비즈니스 엔티티(business entity)를 나타낼 수 있음을 이해합니다.

스키마만을 바라보는 모델은 서로 단절된 테이블들을 보게 됩니다.

누락된 정보는 더 많은 데이터가 아닙니다.

그것은 바로 의미(meaning)입니다.

미래의 데이터 플랫폼에는 저장소 이상의 것이 필요하다

AI가 엔터프라이즈 데이터의 주요 소비자(consumer)가 된다면, 미래의 플랫폼에는 추가적인 역량이 필요합니다.

비즈니스 엔티티 이해 (Business Entity Understanding)

AI는 다음과 같은 중요한 비즈니스 객체(business objects)를 이해해야 합니다:

• 고객 (Customer)
• 제품 (Product)
• 공급업체 (Supplier)
• 직원 (Employee)
• 계약 (Contract)
• 프로젝트 (Project)

단순히 테이블로서가 아니라, 실제 비즈니스 개념(business concepts)으로서 이해해야 합니다.

관계 이해 (Relationship Understanding)

엔터프라이즈 지식은 종종 관계(relationships) 속에 숨겨져 있습니다.

고객은 주문(orders)과 연결됩니다.

주문은 송장(invoices)과 연결됩니다.

송장은 결제(payments)와 연결됩니다.

이러한 관계가 항상 외래 키(foreign keys)로 정의되어 있는 것은 아닙니다.

많은 관계가 비즈니스 규칙(business rules), 과거의 결정, 그리고 운영 경험을 통해 존재합니다.

AI에는 추측된 조인(guessed joins)이 아니라 신뢰할 수 있는 관계(trusted relationships)가 필요합니다.

비즈니스 시맨틱 이해 (Business Semantic Understanding)

동일한 단어라도 부서에 따라 다른 의미를 가질 수 있습니다.

재무 부서의 "매출(Revenue)"은 운영 부서의 "판매(sales)"와 다를 수 있습니다.

마케팅에서의 "고객(Customer)"은 회계에서의 "고객(customer)"과 다를 수 있습니다.

AI에는 컬럼 설명뿐만 아니라 비즈니스 정의(business definitions)가 필요합니다.

데이터 플랫폼에서 AI 준비형 데이터 인프라로 (From Data Platform to AI-Ready Data Infrastructure)

이것이 기존의 데이터베이스(databases)나 데이터 웨어하우스(warehouses)를 교체해야 한다는 의미는 아닙니다.

해당 시스템들은 여전히 필수적입니다.

변화의 핵심은 기업들이 기존 데이터 위에 또 다른 계층(layer)을 필요로 한다는 점입니다.

다음 항목들을 연결하는 계층입니다:

비즈니스 개념 (Business Concepts)

        ↓
...

이 계층은 AI가 단순히 정보를 검색(retrieving)하는 단계를 넘어, 정보를 이해(understanding)하는 단계로 나아갈 수 있도록 돕습니다.

다음 경쟁은 모델에 국한되지 않을 것입니다

많은 조직이 다음 항목들에 막대한 투자를 하고 있습니다:

• 더 큰 모델 (larger models)
• 더 빠른 추론 (faster inference)
• 더 나은 에이전트 (better agents)
• 더 강력한 인프라스트럭처 (more powerful infrastructure)

이러한 개선 사항들은 중요합니다.

하지만 모델의 성능(capability)만으로는 기업의 이해(enterprise understanding) 문제를 해결할 수 없습니다.

두 회사가 동일한 AI 모델을 사용하더라도 완전히 다른 결과를 얻을 수 있습니다.

그 차이는 종결적으로 모델 때문이 아닙니다.

모델 뒤에 있는 기업 지식(enterprise knowledge)의 품질 때문입니다.

마치며

수년 동안 기업용 데이터 플랫폼은 인간을 위해 최적화되어 왔습니다.

인간이 의미를 해석했습니다.

인간이 점들을 연결했습니다.

인간이 모호함을 해결했습니다.

AI는 그 관계를 변화시킵니다.

차세대 데이터 플랫폼은 단순히 다음과 같은 질문에만 답하지 않을 것입니다:

"데이터가 어디에 있는가?"

그들은 다음과 같은 질문에 답하는 것을 도울 것입니다:

"이 데이터는 무엇을 의미하며, 어떻게 연결되어 있고, 언제 신뢰할 수 있는가?"

미래의 기업용 데이터 플랫폼은 단순히 데이터가 머무는 장소가 아닙니다.

그것은 AI가 비즈니스가 어떻게 작동하는지 이해할 수 있게 해주는 토대(foundation)입니다.