Launch HN: Grai (YC S22) – 오픈 소스 데이터 관측성 (Data Observability) 플랫폼

안녕하세요 HN, 제 이름은 Ian입니다. 저와 공동 창업자인 Edward는 오픈 소스 데이터 관측성 (Data Observability) 플랫폼인 Grai (https://grai.io)를 시작했습니다. Grai는 데이터 파이프라인 (Data Pipeline)의 변경 사항을 런타임 (Runtime)이 아닌 CI (지속적 통합) 단계에서 평가함으로써 프로덕션 데이터 중단을 방지하도록 돕습니다.

상위 데이터 소스 (Upstream Data Sources)의 변경으로 인해 프로덕션 중단을 경험한 적이 있으신가요? 이는 머신러닝 (Machine Learning)을 배포하든 데이터 웨어하우스 (Data Warehouse)를 운영하든 우리가 정기적으로 마주쳤던 문제였으며, 이것이 우리가 Grai를 만들게 된 계기가 되었습니다.

동일한 데이터가 여러 다양한 서비스와 애플리케이션에 걸쳐 복사되고 사용될 때, 데이터 변경이 스택의 나머지 부분에 미치는 영향을 체계적으로 테스트하는 것은 상당히 어렵다는 것이 밝혀졌습니다. 데이터베이스의 컬럼 (Column) 이름을 변경하는 것과 같은 간단한 변경만으로도 BI 대시보드 (BI Dashboards)가 깨지거나, ML 모델을 위한 잘못된 학습 데이터가 생성되거나, 데이터 파이프라인 (Data Pipeline) 장애가 발생할 수 있습니다. 예를 들어, 비즈니스 사용자들은

PostgreSQL, Snowflake, dbt, Fivetran과 같은 일반적인 데이터 도구들과의 다양한 사전 구축된 통합 (Integrations) 기능을 포함하고 있으며, 이는 메타데이터 (Metadata)를 자동으로 추출하고 그래프의 상태를 동기화합니다. Grai는 REST 및 GraphQL API와 Python 클라이언트 라이브러리에 의해 지원되는 유연한 데이터 모델 (Data Model)을 기반으로 구축되었습니다. 이러한 방식을 통해 사용자는 자신들의 필요에 따라 Grai를 기반으로 직접 기능을 구축할 수 있습니다. 예를 들어, Grai의 모든 객체는 Kubernetes의 CRD와 유사하게 yaml 정의 파일로 직렬화 (Serialize)되므로, 사전 구축된 통합 기능이 존재하지 않더라도 수동으로 커스텀 솔루션을 만들거나 스크립트를 작성하는 것이 상당히 쉽습니다.

우리가 처음부터 오픈 소스 (Open-source)로 구축하기로 결정한 이유 중 하나는, 조직적 및 기술적 측면 모두에서 리니지 (Lineage)가 충분히 활용되지 못하고 있다고 믿기 때문입니다. 우리는 커뮤니티가 그 위에 멋진 개념들을 구축할 수 있는 토대를 제공하기를 희망하며, 이미 클라우드와 온프레미스 (On-prem) 간의 스팟 가격 차익 거래 (Spot price arbitrage)를 활용하기 위해 실시간 쿼리 파이프라인 (Query Pipelines)을 최적화하는 것과 같은 놀라운 아이디어를 가진 기업들이 우리를 찾아오고 있습니다.

우리는 조직이 어떻게 운영되는지에 대해 지나치게 주관적인 의견을 제시하지 않으려 노력하므로, 개발 데이터베이스를 유지 관리하든 GitHub Actions에서 서비스 컨테이너를 실행하든 크게 상관없습니다. 테스트가 트리거되면 우리는 환경의 새로운 상태를 평가하고 영향을 확인한 후, 풀 리퀘스트 (Pull Request)에 댓글로 결과를 보고합니다.

데이터 관측성 (Data Observability)은 예상치 못한 이점을 제공할 수 있습니다. 우리의 고객 중 한 명은 새로운 엔지니어의 온보딩 (On-boarding)을 더 쉽게 만들어 주기 때문에 우리를 사용합니다. 전체 데이터 스택 (Data Stack)을 Figma와 같이 무한히 확대/축소 가능한 그래프로 렌더링하기 때문에, 엔지니어들이 엔드 투 엔드 (End-to-end) 데이터 흐름과 애플리케이션 의존성 (Application Dependencies)을 시각적으로 탐색하는 것이 가능합니다.

빠른 데모는 여기에서 확인하실 수 있습니다: https://vimeo.com/824026569. 직접 체험해보고 싶으신 분들을 위해 시작 가이드 예제도 준비했습니다: https://docs.grai.io/examples/enhanced-dbt. 모든 것이 오픈 소스 (Open Source)이므로, 언제든지 코드(https://github.com/grai-io/grai-core)와 문서(https://docs.grai.io)를 살펴보실 수 있으며, 여기에는 docker-compose 및 Kubernetes용 예시 배포 설정이 포함되어 있습니다.

여러분의 피드백을 듣고 싶습니다. 저희가 놓치고 있는 기능이 있다면 만들어 나가겠습니다. UX(사용자 경험) 또는 개발자 경험 (Developer Experience)에 대한 제안이 있다면 수정하겠습니다. 그 외의 어떤 것이라도 좋습니다, 저희는 여러분의 의견을 듣고 싶습니다. 여러분의 피드백을 기다리고 있겠습니다. 미리 감사드립니다!