Snowflake, 데이터 웨어하우스에 AI 팩토리(AI Factory) 도입

데이터 웨어하우스(Data Warehouse)와 AI 개발 환경 사이의 장벽이 허물어지고 있습니다. Snowflake의 최근 플랫폼 발표는 여러분의 데이터 클라우드(Data Cloud)가 단순히 데이터가 머무는 곳이 아니라, 기업용 AI를 구축하고 실행하는 기본 장소가 되는 것을 목표로 합니다.

SQL 내에서 직접 실행되는 AI 기능

Snowflake AI 스택에 접근하는 가장 쉬운 진입점은 Cortex AI 기능의 확장입니다. 이는 SQL로 호출 가능한 함수들로, 분석가와 엔지니어가 표준 쿼리 내에서 OpenAI, Anthropic, Meta와 같은 제공업체의 대규모 언어 모델(Large Language Models, LLM)에 직접 접근할 수 있게 해줍니다. 핵심은 이 과정이 Snowflake의 보안 경계(Secure Perimeter) 내부에서 이루어진다는 점이며, 이를 통해 추론(Inference)을 위해 민감한 데이터를 외부 서비스로 이동시킬 필요가 없습니다.

SENTIMENT, SUMMARIZE, TRANSLATE와 같은 함수는 일반적인 비정형 데이터(Unstructured Data) 작업을 처리합니다. 더 복잡한 요구 사항을 위해 AI_COMPLETE는 추론 및 맞춤형 프롬프트(Custom Prompts)를 위한 일반적인 접근을 제공하며, AI_EXTRACT는 문서에서 구조화된 필드(Structured Fields)를 추출할 수 있습니다. 이러한 접근 방식은 팀이 익숙한 SQL 워크플로를 사용하여 데이터를 풍부하게 만들고 파이프라인의 일부를 자동화할 수 있도록 합니다.

-- 부정적인 피드백이 포함된 모든 지원 티켓 찾기
SELECT
  ticket_id,
...

이는 단순히 편의성의 문제가 아닙니다. 감성 분석(Sentiment Analysis), 개체명 추출(Entity Extraction), 콘텐츠 분류(Content Classification)와 같은 작업의 운영 효율성 측면에서의 변화를 의미합니다.

통합된 개발 경험

단순한 SQL 함수를 넘어, Snowflake는 더욱 통합된 개발 환경을 구축하고 있습니다. 현재 공개 미리보기(Public Preview) 단계인 Snowflake Notebooks의 도입은 Python, SQL, Markdown을 위한 단일 인터페이스를 제공합니다. 이 환경은 모델 개발을 위한 Snowpark ML, 데이터 앱 구축을 위한 Streamlit, LLM 접근을 위한 Cortex AI를 포함하여 플랫폼의 나머지 부분과 네이티브하게 통합되어 있습니다.

목표는 프로토타입 (Prototype) 단계에서 프로덕션 (Production) 단계로 가는 경로를 단축하는 것입니다. 데이터 파이프라인 (Data pipelines)을 위한 도구 (Dynamic Tables 및 Snowpipe Streaming 등)를 네이티브한 노트북 (Notebook) 경험과 결합함으로써, 개발자는 데이터 변환 (Data transformations)과 AI 모델을 한 곳에서 구축하고 관리할 수 있습니다. 이미 2,900개 이상의 고객이 프로덕션급 데이터 파이프라인을 관리하기 위해 Dynamic Tables를 사용하고 있습니다.

에이전트 (Agents) 및 관측성 (Observability)을 향한 움직임

새로운 툴링 (Tooling)에서 가장 높은 수준의 추상화는 Cortex Agents를 통해 제공됩니다. 이들은 기업 데이터 전반에 걸쳐 추론하고 외부 도구와 연결할 수 있는 다단계의 자율적인 워크플로우 (Workflows)를 처리하도록 설계되었습니다. 또한 플랫폼은 비즈니스 사용자가 SQL을 작성하지 않고도 복잡한 질문을 던질 수 있는 자연어 인터페이스인 Snowflake Intelligence를 도입했습니다.

이러한 복잡성을 관리하기 위해 새로운 관측성 (Observability) 기능들도 이번 릴리스에 포함되었습니다. 예를 들어, Snowflake Trail은 텔레메트리 (Telemetry) 및 분산 트레이싱 (Distributed tracing)을 제공하여 개발자가 플랫폼 내에서 코드가 어떻게 실행되는지 가시성을 확보할 수 있도록 합니다. 이는 애플리케이션이 단순한 쿼리 (Queries)에서 다단계 에이전트 워크플로우 (Agentic workflows)로 이동함에 따라 매우 중요해집니다.

빌더 (Builders)들에게 갖는 의미

AI 개발의 중심축이 이동하고 있습니다. 대규모 데이터셋을 외부 컴퓨팅 (Compute)으로 이동시키는 대신, 컴퓨팅과 개발 라이프사이클 (Development lifecycle)을 데이터로 직접 가져오는 방향으로 툴링이 성숙해지고 있습니다. 엔지니어와 데이터 과학자들에게 이는 인프라 설정 및 데이터 이동에 소비하는 시간을 줄이고, 거버넌스 (Governed)가 갖춰진 보안 환경 내에서 구축에 더 많은 시간을 할애할 수 있음을 의미합니다. 이는 데이터 클라우드 (Data cloud)를 수동적인 저장소가 아닌, AI 제품 구축에 있어 더욱 능동적인 참여자로 만듭니다.

출처

• https://www.snowflake.com/