Unity Catalog 관리 테이블, 고객의 스토리지로 데이터 저장 및 개방형 포맷 지원

Unity Catalog 관리 테이블은 이제 Databricks가 통제하는 인프라 대신 고객이 소유한 S3, ADLS 또는 GCS 계정에 데이터를 저장하며, Databricks는 테이블 레이아웃과 라이프사이클만 관리합니다.

→ 이는 데이터 플랫폼 검토에서 흔히 제기되던 'Unity Catalog를 채택한다는 것은 데이터가 물리적으로 어디에 존재하는지에 대한 통제권을 포기하는 것'이라는 반론을 해소합니다.
② 기존 테이블 손상 없이 세밀한 제어 가능

SET MANAGED LOCATION 구문은 메타스토어, 카탈로그, 스키마 레벨에서 작동하며, 가장 구체적인 레벨의 설정이 우선권을 갖습니다. 또한, 설정을 변경해도 기존 테이블에는 영향을 주지 않습니다.

→ 이제 팀들은 마이그레이션 프로젝트 없이 비용, 규정 준수 또는 거주지 이유로 스토리지 위치를 분할할 수 있습니다.
③ 개방형 포맷으로 다른 엔진도 활용 가능

관리 테이블은 Iceberg와 Delta를 사용하며, Iceberg REST Catalog를 통해 노출되므로 Spark, Trino, Flink가 동일한 거버넌스 하에 읽고 쓸 수 있습니다.
최종적으로: 이는 Unity Catalog에 중앙 집중식 거버넌스를 적용하는 것에 대한 가장 흔한 아키텍처적 반론 중 하나를 해소합니다.

저는 이번 분기 동안 기업 데이터 팀들이 Unity Catalog 하에서 스토리지 소유권을 어떻게 구조화하고 있는지 추적하고 있습니다. 메모를 비교하고 싶으시면 DM(다이렉트 메시지) 주세요.