급성장하는 이커머스 브랜드가 데이터 엔지니어에게 의존하는 것을 멈춘 방법

이커머스를 위한 셀프서비스 분석 — 매월 수천만 건의 트랜잭션을 처리하며, 질문을 던지는 팀들이 카테고리, 지역 및 코호트 관련 질문에 답할 수 있게 되었습니다.

문제: 성장이 보고 프로세스보다 빨랐다

해당 회사는 여러 지역에서 매월 수천만 건의 트랜잭션을 처리하고 있었으며, 그 양은 계속 증가하고 있었습니다. 데이터 인프라는 따라갔지만, 주변 프로세스는 그렇지 못했습니다.

비즈니스 팀의 모든 질문 — 아무리 일상적인 것이라도 — 은 데이터 엔지니어링에 대한 요청이 되었습니다. 이는 다음과 같은 복합적인 문제들을 야기했습니다:

• 비즈니스 팀은 셀프서비스가 불가능했다. 머천다이저와 마케터들은 기본적인 쿼리를 위해서도 엔지니어들에게 의존해야 했습니다.
• 대시보드 작업에 몇 시간이 걸렸다. 단일 뷰 뒤의 쿼리를 조립하는 데는 몇 분이 아니라 오후가 필요했습니다.
• 시각적 보고서는 수동 내보내기를 의미했다. 데이터베이스에서 데이터를 꺼내어 다른 곳에서 차트를 만들어야 했습니다.
• SQL 오류로 지연이 발생했다. 오타가 난 조인(join)이나 잘못된 그레인(grain)은 보고서를 다시 순환시키며 지연을 초래했습니다.
• 임시 분석(Ad-hoc analysis)이 의사결정을 지연시켰다. 가장 중요한 질문들은 아무도 대시보드를 만들어주지 않은 질문들이었습니다.

이 패턴은 상업 비즈니스를 확장해 본 사람이라면 누구나 익숙한 것입니다. 즉, 분석팀이 병목(queue)이 되고, 그 병목이 뒤따르는 모든 의사결정의 속도 제한이 되는 것입니다. 회사가 필요했던 것은 더 많은 대시보드가 아니라, 데이터베이스에 대한 통제권을 포기하지 않으면서 사람들이 스스로 질문을 던질 수 있는 방법이었습니다.

해결책: 또 다른 BI 레이어가 아닌 지능형 SQL 워크스페이스

회사는 스택 위에 보고 도구를 추가하는 대신, 팀들이 데이터베이스 자체와 상호작용하는 방식을 변경했습니다. DBx Studio는 기존 데이터베이스에 직접 위치하며, 기술적 사용자(technical users)와 비기술적 사용자(non-technical users) 모두가 같은 공간에서 작업할 수 있는 워크스페이스입니다.

구현된 내용

구현된 기능

• 자연어(Natural language)를 SQL 쿼리로 생성 (query generation)
• 성능을 고려한 쿼리 제안 (Performance-aware query suggestions)
• 모든 결과 집합에서 즉시 차트 생성 (Instant chart creation from any result set)
• 스키마 기반의 문맥적 지원 (Schema-aware contextual assistance)
• 실시간 쿼리 오류 감지 및 수정 (Real-time query error detection and correction)
• 반복 분석을 위한 저장된 쿼리 템플릿 (Saved query templates for recurring analytics)

이 마지막 항목의 핵심은 놓치기 쉽지만 장기적인 작업을 가장 많이 수행합니다. 즉, 질문이 한 번 잘 정의되고 검증되면, 그것은 누구나 재실행할 수 있는 이름 붙여진 템플릿(named template)이 됩니다. 몇 달에 걸쳐 반복되는 질문들은 검토된 쿼리에 의해 처리되며 모델이 나머지 부분(tail)을 담당합니다.

일반적인 질문 예시

"지난 30일 동안 지역별 제품 카테고리별 매출액을 비교해 주세요."

DBx Studio는 이 질문에 대해 최적화된 쿼리를 생성하고, 이를 실행하며, 결과 옆에 대화형 시각화(interactive visualization)를 렌더링합니다. 작업 공간을 벗어나거나 내보내기(export) 단계를 거칠 필요가 없습니다. 생성된 SQL은 계속 보이므로 분석가가 이를 확인하거나, 수정하거나, 해당 질문의 표준 버전으로 저장할 수 있습니다.

직접 접근 권한을 통제하는 방법

비즈니스 팀에게 프로덕션 커머스 데이터베이스에 대한 직접적인 쿼리 접근 권한을 부여하는 것은 두 가지 명백한 반론을 제기합니다. 이 두 가지 모두 답변이 가능하며, 이러한 거래량 규모에서는 그 답변의 중요성이 더 큽니다.

읽기 전용(Read-only) 및 선별된 뷰 사용

워크스페이스는 쓰기 권한이 제거된 역할(role)으로 연결되며, 원시 테이블(raw tables) 대신 선별된 뷰(curated views)에서 데이터를 읽어옵니다. 비즈니스 사용자들은 자유롭게 탐색할 수 있으며, 그들이나 모델이 작성하는 어떤 것도 주문 기록을 변경하지 않습니다. 또한 이 뷰들에는 비즈니스 용어로 이해하기 쉬운 컬럼 이름(business-legible column names)이 포함되어 있어 생성된 SQL의 품질을 측정 가능하게 향상시킵니다.

필요한 곳에서만 고객 데이터 노출

뷰는 대부분의 팀이 볼 필요가 없는 정보—예: 이메일 주소, 결제 세부 정보, 전체 배송 기록—를 마스킹(mask)하는 장소이며, 동시에 집계치(aggregates)와 코호트 행동(cohort behavior)은 완전히 쿼리 가능하게 유지합니다. 대부분의 커머스 분석은 사람 자체보다 패턴을 필요로 합니다.

쿼리 비용 제한 (Query cost bounded), 단순한 쿼리 구문 이상의 통제

월 수천만 건의 트랜잭션에서는 필터링되지 않은 조인(join) 자체가 심각한 운영 위험이 됩니다. 실행 전 비용 추정, 구문 시간 초과(statement timeouts), 행 제한(row caps) 기능은 너무 광범위한 질문이 스토어프론트에도 서비스를 제공하는 데이터베이스에서 사고가 되는 것을 막아줍니다.

저희는 이러한 제어 장치들에 대해 '프로덕션 텍스트-투-SQL 시스템의 레이어'에 관한 글을 자세히 작성했으며, 이를 저희 구매자 체크리스트(buyer's checklist)에서 어떤 공급업체에게든 물어볼 가치가 있는 질문들로 만들었습니다.

결과

이러한 변화는 네 가지 영역에서 나타났습니다.

측정할 가치가 있는 지표 (아직 측정하지 않았다면): 질문을 던진 시점부터 답변이 제공되기까지의 중앙값 시간; 월별 분석 티켓 건수 변화(전후); 특정 주에 쿼리를 실행한 고유 사용자 수; 그리고 저장된 템플릿에서 서비스된 쿼리 비율 대 새로 생성된 쿼리 비율. 마지막 지표가 워크스페이스가 단순히 업무를 전가하는 것이 아니라 복합적으로 가치를 창출하고 있다는 가장 명확한 신호입니다.

가장 중요한 변화는 측정 지표 자체가 아니었습니다. 분석팀은 더 이상 다른 사람들이 스스로 답할 수 있는 질문에 시간을 할애하지 않고, 실제로 분석가가 필요한 작업(코호트 행동, 마진 구조, 아무도 생각지 못한 질문들)으로 이동했습니다. 셀프 서비스는 분석 기능의 가치를 줄인 것이 아니라, 상류(upstream)로 옮긴 것입니다.

귀하의 팀에 적합한가요?

이 패턴은 다음 조건 하에서는 잘 적용되지만, 그렇지 않으면 제대로 작동하지 않습니다:

귀하의 팀에 적합한가요?

이 패턴은 다음 조건 하에서는 잘 적용되지만, 그렇지 않으면 제대로 작동하지 않습니다:

• 측정 지표(metrics)가 사람들의 머릿속이 아닌 어딘가에 정의되어 있어야 합니다. 만약 '매출(revenue)'의 의미가 재무팀에게는 총액(gross)이고 상품 기획팀에게는 순액(net)이라면, 셀프 서비스(self-service) 기능이 이를 빠르게 파악해 줄 것입니다. 먼저 정의하고, 나중에 배포하세요.
• 정제된 뷰(curated views)를 원시 테이블(raw tables) 앞에 배치할 수 있어야 합니다. 이는 안전성과 답변 품질을 모두 향상시키는 작업입니다. 이 단계를 건너뛰는 것이 이러한 배포가 실망스러운 가장 흔한 이유입니다.
• 중요한 쿼리(queries)를 검토하는 사람이 있어야 합니다. 이 범주의 모든 도구는 때때로 잘못될 수 있습니다. 성공하는 팀들은 매번 처음부터 생성하기보다, 검증되고 이름이 지정된 질문들의 라이브러리를 구축합니다.
• 데이터베이스가 임시 부하(ad-hoc load)를 흡수할 수 있어야 합니다. 그렇지 않다면 워크스페이스(workspace)를 복제본(replica)에 연결할 수 있습니다. 높은 거래량에서는 이것이 선택 사항이 아닙니다.

핵심 요약 (The takeaway)

성장은 보통 데이터 인프라 자체를 먼저 망가뜨리지 않습니다. 대신 그 주변을 감싸고 있는 프로세스를 망가뜨리며 — 첫 번째 증상은 대기열(queue)입니다. 질문을 가진 사람들이 스스로 안전하게 답변할 수 있게 되면, 분석팀은 병목 지점(bottleneck)이 되는 것을 멈추고 곱셈 효과(multiplier)를 내는 존재가 됩니다.

자신의 스키마로 시도해 보세요

팀이 매주 던지는 질문 열 가지와 이미 답을 알고 있는 것들을 가져오세요. 그것들로 실행해 보고, 몇 개가 정확하게 돌아오는지 세어보세요. 이것이 어떤 데모보다 더 유용한 평가입니다.

쿼리하고(Query it). 분석하고(Analyze it). 시각화하세요(Visualize it). — 모두 DBx를 통해 가능합니다.