엔지니어링 팀이 수익을 창출하는 데이터 파이프라인을 구축하는 방법

데이터 파이프라인은 종종 배관(plumbing)처럼 취급됩니다. 작동해야 하는 것, 고장 나면 고쳐야 하는 것, 그리고 문제가 발생하기 전까지는 아무도 생각하지 않는 것입니다. 이러한 관점이 기업에 실제 비용을 초래하고 있습니다. 현재 앞서나가는 엔지니어링 팀들은 단순히 데이터를 이동시키는 파이프라인을 구축하는 것이 아닙니다. 그들은 비즈니스 성과(business outcomes)와 직접 연결되는 데이터 파이프라인 아키텍처를 구축하고 있습니다. 이 둘 사이에는 의미 있는 차이가 존재합니다.

대부분의 데이터 파이프라인이 수익을 창출하지 못하는 이유

대부분의 파이프라인은 반응적으로(reactively) 구축됩니다. 비즈니스 팀이 보고서를 필요로 합니다. 엔지니어링 팀은 이를 공급하기 위한 파이프라인을 구축합니다. 또 다른 팀이 대시보드를 필요로 합니다. 또 다른 파이프라인이 생깁니다.

‘어떻게 이 데이터를 이동시킬까(how do we move this data)’라고 묻는 대신 ‘이 데이터가 어떤 결정을 내리는 데 필요한지, 그리고 얼마나 빨리 그곳에 도달해야 하는지’를 물으십시오. 이 질문은 데이터 파이프라인 아키텍처를 설계하는 방식 전체를 바꿉니다. 지연 시간(Latency)은 기술적인 결정이 아니라 비즈니스적인 결정이 됩니다. 어떤 결정들은 실시간으로 데이터를 필요로 합니다. 사기 탐지 시스템(fraud detection system)은 배치 작업(batch job)이 완료되기를 몇 시간 동안 기다릴 수 없습니다. 개인화 엔진(personalization engine)은 사용자가 어제 무엇을 했는지보다 방금 무엇을 했는지 알아야 합니다. 실시간 데이터 처리(real time data processing)가 항상 필요한 것은 아니지만, 필요할 때는 나중에 덧붙이는 것이 아니라 처음부터 설계되어야 합니다. 신뢰성(Reliability)은 수익 지표입니다. 파이프라인이 다운되면 결정들이 오래되었거나 누락된 데이터를 기반으로 내려지게 됩니다.

데이터 소스부터 시작해서 출력이 유용하기를 바라기만 하는 것이 아무도 신뢰하지 않는 파이프라인을 만드는 방법입니다. 시간 민감 데이터에는 이벤트 기반 아키텍처(Event-driven architecture)를 사용해야 합니다. 비즈니스 결과가 발생하는 일에 대응하는 것에 달려 있을 때 이벤트 기반 아키텍처가 적절한 패턴입니다. 고객 클릭, 거래, 재고 변경, 센서 판독값 등이 그것입니다. 이벤트는 예약된 배치 실행을 기다리는 대신 즉시 처리를 트리거합니다. 통찰력까지의 속도가 수익으로 직접 연결되는 기업에게 이 아키텍처는 투자할 가치가 있습니다. 처음부터 관측 가능성(Observability)을 염두에 두고 구축하세요. 모니터링할 수 없는 파이프라인은 신뢰할 수 없는 파이프라인입니다. 계측(Instrumentation), 경고 알림(alerting), 그리고 출처 추적(lineage tracking)은 처음부터 내장되어야 합니다. 무언가 고장 나면

실시간 개인화(Real time personalization), 동적 가격 책정(dynamic pricing), 실시간 사기 탐지(live fraud detection), 즉각적인 재고 업데이트(instant inventory updates) 등이 있습니다. 이들은 단순히 있으면 좋은 기능이 아닙니다. 많은 기업에게 이는 핵심 수익 동력입니다. 데이터 통합 전략의 질문은 더 이상 스트리밍에 투자할 것인지 여부가 아니라, 확장성 측면에서 유지보수 가능하고 비용 효율적인 방식으로 어떻게 할 것인가 하는 것입니다. 이를 제대로 수행하는 엔지니어링 팀은 조직에 의미 있는 경쟁 우위를 구축합니다. 체계적으로 접근한 팀들은 데이터 신뢰성과 비즈니스 성과 모두에서 측정 가능한 개선을 제공했습니다. 이러한 종류의 인프라 투자가 실제 어떻게 구현되는지 살펴보겠습니다. 엔지니어링 팀을 위한 실질적인 시작점(Practical Starting Points) 여러분은 모든 것을 한 번에 재구축할 필요는 없습니다.

잘 구축하고(Build it well). 이후 모든 것의 템플릿으로 사용하세요. 파이프라인 소유권(pipeline ownership)을 확립하세요. 각 핵심 파이프라인에 대해 책임을 지는 팀이나 개인을 지정해야 합니다. 소유권은 책임감(accountability)을 만들고, 책임감은 신뢰성(reliability)을 만듭니다. 결론적으로(The Bottom Line), 데이터 파이프라인은 인프라 오버헤드가 아닙니다. 그것들은 수익 창출 인프라입니다. 이러한 방식으로 다루는 엔지니어링 팀들—즉, 비즈니스 성과를 염두에 두고 설계하고, 신뢰성과 확장성을 위해 구축하며, 제품처럼 소유하는 팀들—만이 그들의 작업이 비즈니스 결과로 나타나게 합니다. 단순히 데이터를 이동시키는 파이프라인과 수익을 창출하는 파이프라인 사이의 격차는 기술적 격차가 아닙니다. 그것은 설계와 소유권의 격차입니다. 그리고 이것은 전적으로 엔지니어링 팀의 통제 범위 안에 있습니다.