Launch HN: Trellis (YC W24) – 비정형 데이터용 AI 기반 워크플로우
안녕하세요, HN 독자 여러분. 저희는 Trellis(https://runtrellis.com/)의 Jacky와 Mac입니다. 저희는 비정형 데이터(unstructured data)를 위한 AI 기반 ETL을 구축하고 있습니다. Trellis는 전화 통화 녹취록, PDF 파일, 채팅 내용을 사용자가 정의한 자연어 스키마(schema)를 기반으로 구조화된 SQL 형식으로 변환합니다. 이를 통해 데이터 및 운영팀이 수동 데이터 입력 작업을 자동화하고 복잡한 데이터에 대해 SQL 쿼리를 실행할 수 있도록 돕습니다.
데모 영상은 https://www.youtube.com/watch?v=ib3mRh2tnSo에서 확인하실 수 있으며, 가상 환경(sandbox)은 (로그인 필요 없음!) https://demo.runtrellis.com/에서 사용해 보실 수 있습니다. 저희가 Trellis를 적용해 보고 흥미롭다고 생각한 역사적 아카이브 중 하나는 검토하는 데 몇 달이 걸렸던 유명한 엔론(Enron) 이메일입니다. 여기에서 쇼케이스 데모를 생성했습니다: https://demo.runtrellis.com/showcase/enron-email-analysis, 관련 문서는 다음 링크에서 확인하실 수 있습니다: https://docs.runtrellis.com/docs/example-email-analytics.
개발 배경:
저희가 만났던 스탠퍼드 AI 연구실(Stanford AI lab)에서 여러 F500 데이터 팀(Amazon, Meta, Standard Chartered 포함)과 협업하면서 반복적으로 같은 문제에 직면했습니다. 바로 기업 데이터의 80%가 비정형이며, 기존 플랫폼으로는 이를 처리할 수 없다는 것이었습니다. 예를 들어, 제가 함께 일하는 주요 상업은행은 핵심 데이터가 PDF와 이메일에 갇혀 있어 신용 위험 모델(credit risk models)을 개선할 수 없었습니다.
저희는 AI 연구실에서의 연구 결과가 추상화 계층(abstraction layer)으로 구현되어 해결책이 될 수 있다는 것을 깨달았습니다. 이 솔루션은 금융 언더라이팅(financial underwriting) 분석에 사용되는 것만큼이나 콜센터 녹취록 분석에도 잘 작동하는, 모든 비정형 데이터 소스를 받아 스키마가 정확한 테이블로 변환해주는 AI 기반 ETL입니다.
개발 과정에서 해결해야 했던 몇 가지 흥미로운 기술적 과제:
(1) 복잡한 문서 지원: 긴 문서를 처리하기 위해 LLM 기반 맵-리듀스(LLM-based map-reduce)를 사용하고, 테이블 및 레이아웃 추출을 위해 비전 모델(vision models)을 활용합니다. (2) 모델 라우팅(Model Routing): 비용과 속도를 최적화하기 위해 각 변환에 가장 적합한 모델을 선택합니다. 예를 들어, 데이터 추출 작업의 경우 금융 테이블의 구조화된 JSON을 반환하는 데 특화된 더 간단한 파인튜닝 모델(fine-tuned models)을 활용할 수 있습니다. (3) 데이터 유효성 검사 및 스키마 보장: 참조 링크와 이상 탐지(anomaly detection)를 통해 정확성을 확보합니다.
Trellis 출시 후, 저희는 다양한 사용 사례들을 목격했습니다. 특히 PDF가 API처럼 취급되는 레거시 산업에서 그렇습니다. 예를 들어, 금융 서비스 회사들은 채권(bonds)이나 신용 등급(credit ratings)과 같은 복잡한 문서를 구조화된 형식으로 처리해야 하며...