AI가 실제로 사용할 수 있도록 데이터 웨어하우스를 모델링하는 방법

모두가 LLM에 자신들의 데이터를 연결하려고 합니다. 즉, '평범한 영어로 질문하게 하거나', '에이전트가 숫자를 가져오게 하는' 식입니다. 그러다가 그 LLM이 확신을 갖고 틀린 매출 수치를 반환하면, 신뢰는 사라집니다. 문제는 보통 모델 자체가 아닙니다. 바로 그 아래의 데이터 계층(data layer) 문제입니다. LLM은 자신이 읽는 것의 구조, 정의, 정확성에 의해서만 성능이 결정됩니다. 여기 어떻게 모델링해야 하는지 설명합니다.

모델에게 추측 대신 계약을 제공하라

텍스트-투-SQL 도구나 에이전트가 원시 테이블(raw tables)에 자유롭게 조인(joins)하게 둔다면, 그들은 누구와도 맞지 않는 '활성 고객(active customer)'의 정의를 만들어낼 것입니다. 시맨틱 레이어(semantic layer) (또는 인증된 메트릭 모델 세트)가 이를 해결합니다: 각 메트릭을 한 번만 정의하세요—그것의 단위(grain), 필터, 조인까지도요—이렇게 하면 모델이 컬럼 이름에서 비즈니스 로직을 재구성하는 대신 신뢰할 수 있는 빌딩 블록으로 구성하게 됩니다. 시맨틱 레이어는 데이터 웨어하우스와 이를 쿼리하는 모든 것, 인간이든 AI든 간에 그 사이의 계약(contract) 역할을 합니다.

테이블을 읽기 쉽게 만들어라

모델은 새로운 분석가처럼 스키마(schema)를 이름과 문서화된 내용을 통해 추론합니다. 데이터 웨어하우스를 읽기 쉽게 만드는 것만으로도 환각성 조인(hallucinated joins)을 극적으로 줄일 수 있습니다:

• 명확한 이름. gross_sales가 amt2보다 낫습니다. 모델은 읽을 수 없는 것은 추론할 수 없습니다.
• 문서화된 단위와 키. 모든 모델의 기본 키(primary key)와 단위(grain)를 명시하세요. 이것이 에이전트가 이중 계산하는 것을 막아줍니다.
• 원시 테이블 대신 큐레이션된 뷰를 노출하라. AI 소비자들에게 깨끗하고 인증된 레이어를 가리켜서, 그들이 스테이징(staging)이나 반쯤 만들어진 테이블로 방황하지 못하게 하세요.

임베딩을 모델링 결정으로 다루라

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 '어떤 단위로 청크를 선택했는지'에 따라 성패가 갈립니다. 이는 어떤 사실 테이블과 마찬가지의 문제입니다. 벡터 컬럼을 행 옆에 저장하기 전에 다음을 결정해야 합니다: 하나의 '문서'란 무엇인가요? 한 행인가요? 단락인가요? 기록과 그 컨텍스트를 포함한 것인가요? 청크가 너무 거칠면 검색 결과는 노이즈만 반환하고, 너무 세밀하면 의미를 잃게 됩니다. 따라서 각 임베딩(embedding) 옆에 풍부한 메타데이터 (출처, 날짜, 개체, 권한 등)를 유지하여 유사성만으로는 충분할 것이라고 기대하기보다 검색 과정에서 필터링할 수 있도록 해야 합니다.

AI에게는 정확성이 더 중요합니다

잘못된 숫자를 담은 대시보드는 한 번 다시 확인하게 만듭니다. 하지만 잘못된 숫자를 가진 에이전트는 그것을 사실처럼 진술하고 넘어갑니다. 따라서 이미 알고 있는 기본 원칙들이 더욱 큰 중요성을 갖게 됩니다:

• 고유성 및 단위(Uniqueness and grain) — 메트릭을 두 배로 늘리는 팬아웃은 에이전트에 의해 완전한 확신과 함께 표출될 것입니다.
• 최신성(Freshness) — 에이전트는 피드가 하루 지연되었다는 사실을 알아채지 못하지만, 여러분의 계약(contract)은 알아차려야 합니다.
• 정의(Definitions) — 만약 웨어하우스에서 '매출(revenue)'이 모호하다면, 답변에서도 모호하고 (잘못된) 결과가 나올 것입니다.

다시 말해, 인간을 위해 구축하는 데이터 품질 게이트와 조정 검사(reconciliation checks)들이 AI를 정직하게 유지시키는 가드레일(guardrails)이 됩니다.

핵심 요약

• 웨어하우스와 모든 LLM 사이에 의미론적/메트릭 계층을 두어 정의가 추측이 아닌 계약이 되도록 하세요.
• 스키마를 읽기 쉽게 만드세요. 명확한 이름, 문서화된 단위 및 키(keys), 원시 데이터 위에 큐레이션된 뷰(views)를 사용하세요.
• RAG 청킹과 임베딩을 단위 및 메타데이터 모델링 문제로 다루세요.
• 정확성(고유성, 최신성, 명확한 정의)은 AI에게 더 중요합니다. 왜냐하면 에이전트는 여러분의 실수를 확신을 가지고 반복하기 때문입니다.

관련 내용 파이프라인 내에서 (In the Pipeline)": 데이터가 준비되면 해당 모델들을 안전하게 실행하는 것.