Databricks는 Domains라는 기능과 함께 새로운 내부 데이터 및 AI 마켓플레이스인 Discover의 퍼블릭 프리뷰(public preview)를 출시하고 있습니다. Unity Catalog를 기반으로 하는 이 중요한 이니셔티브는 조직이 데이터 및 AI 자산을 찾고, 이해하고, 활용하는 방식을 혁신하는 것을 목표로 하며, 복잡한 데이터 환경으로 인해 발생하는 증가하는 문제들을 직접적으로 해결하고자 합니다.

복잡한 데이터 자산(Data Estates)의 과제

오늘날의 데이터 중심 세상에서 조직은 종종 점점 더 복잡해지는 데이터 및 AI 자산(estates) 문제로 고심하고 있습니다. 이러한 복잡성은 인간 사용자뿐만 아니라 자동화된 AI 에이전트가 관련성 있고 고품질이며 보안이 유지되는 데이터 자산을 일관되게 찾는 데 큰 장애물이 됩니다. 그로 인한 하류(downstream) 결과는 심각할 수 있는데, 여기에는 잘못되거나 오래된 정보에 기반하여 결정을 내리는 AI 에이전트와, 중요한 의사결정을 위해 결함이 있는 지표에 의존하는 비즈니스 사용자가 포함됩니다. 이러한 상황은 상당한 오류, 자원 낭비, 그리고 데이터 기반 인사이트에 대한 전반적인 신뢰 저하로 이어질 수 있습니다.

Databricks Discover 및 Domains 소개

이러한 과제에 대한 Databricks의 대응은 Discover 페이지와 Domains 기능입니다. Discover는 다양한 데이터 및 AI 자산을 찾고 액세스하는 프로세스를 간소화하도록 설계된 중앙 집중식 허브 역할을 합니다. 사용자는 복잡한 기술적 스키마(schemas)를 탐색할 필요 없이 테이블(tables), 대시보드(dashboards), 노트북(notebooks), AI 에이전트(AI agents)와 같은 필수 리소스를 찾아보고 위치를 파악할 수 있습니다.

이 플랫폼은 다음과 같은 몇 가지 핵심 메커니즘을 통해 자산 발견을 강화합니다:

• 비즈니스 영역 탐색 (Business Area Navigation): 사용자는 관련 비즈니스 영역별로 정리된 자산을 찾아볼 수 있어, 필요한 것을 직관적으로 찾을 수 있습니다.
• 인증된 자산 (Certified Assets): 마켓플레이스는 인증된 자산을 강조하여, 사용자가 액세스하는 데이터의 품질과 신뢰성에 대해 더 높은 수준의 확신을 가질 수 있도록 합니다.
• AI 기반 추천 (AI-Driven Recommendations): 지능형 추천을 통해 인기 있고 인증된 콘텐츠를 강조함으로써, 사용자가 가장 가치 있는 자산을 찾을 수 있도록 추가적인 가이드를 제공합니다.

Domains (도메인) 기능은 마켓플레이스에 중요한 비즈니스 컨텍스트 (business-context) 계층을 추가합니다. 데이터 스튜어드 (Data stewards)는 부서, 지리적 영역 또는 제품 라인과 같이 조직의 특정 비즈니스 구조와 일치하는 도메인을 생성함으로써 사용자 경험을 맞춤 설정할 수 있습니다. 이러한 조직 구조는 AI 에이전트 (AI agents)에게 매우 중요하며, 특정 비즈니스 컨텍스트 내에서 어떤 자산이 관련성이 있고 신뢰할 수 있는지 이해하도록 도와줌으로써 궁극적으로 더욱 신뢰할 수 있고 정확한 AI 기반 결과물로 이어지게 합니다.

Unity Catalog를 통한 신뢰성 강화

이 새로운 서비스의 핵심은 Unity Catalog입니다. Unity Catalog의 시맨틱 (semantics)을 확장함으로써, Domains 기능은 조직이 비즈니스 용어로 데이터를 이해하는 미묘한 차이를 효과적으로 포착합니다. 이러한 풍부한 컨텍스트는 Genie Ontology와 같은 시스템에 직접 입력되어, AI 에이전트가 기존 사용자 권한을 엄격히 준수하면서도 적절한 자산을 효율적으로 찾고 활용할 수 있도록 합니다. 이러한 통합은 AI 에이전트가 비즈니스 개념을 오해하거나 중요한 데이터를 간과할 위험을 줄이는 데 결정적이며, 이는 조직이 운영 효율성과 전략적 의사결정을 위해 AI에 점점 더 의존하게 됨에 따라 매우 중요해지고 있습니다. Databricks가 내부 데이터 마켓플레이스를 출시한 능력은 데이터 관리와 AI 통합의 진화하는 환경을 입증하는 증거입니다.

신뢰할 수 있는 AI를 위한 기반 구축

Discover 페이지와 Domains 기능이 이제 퍼블릭 프리뷰 (public preview)로 제공됩니다. Databricks는 기업들이 이러한 새로운 기능들을 탐색하여 신뢰할 수 있는 자산을 큐레이션(curating)하고, AI 이니셔티브를 위한 더욱 강력하고 신뢰할 수 있는 기반을 구축할 것을 권장합니다. 이러한 움직임은 데이터를 더욱 접근 가능하고, 이해하기 쉬우며, 실행 가능하게 만드는 중요한 단계이며, 기업 전반에 걸쳐 더욱 효율적이고 신뢰할 수 있는 AI 애플리케이션을 위한 길을 열어줍니다. 기업들이 nsfw ai와 같은 영역을 포함하여 고급 AI를 지속적으로 탐색함에 따라, 잘 거버넌스(governed)되고 쉽게 발견할 수 있는 데이터의 필요성은 더욱 중요해지고 있습니다.

tags: databricks, data marketplace, unity catalog, data discovery, ai agents, data governance, technology, public preview