멀티모달 AI를 위해 설계된 오픈 소스 데이터 형식: Lance 발견. Parquet를 Lance로 변환하는 데 단 2줄의 코드만 필요하며

요약

Lance는 멀티모달 AI를 위해 설계된 오픈 소스 데이터 형식으로, Parquet 대비 100배 빠른 랜덤 액세스 성능을 제공합니다. 벡터 인덱싱, 데이터 버전 관리, 하이브리드 검색 기능을 내장하고 있으며 Pandas, DuckDB 등 주요 데이터 도구와 높은 호환성을 자랑합니다.

핵심 포인트

• Parquet 대비 100배 빠른 랜덤 액세스 속도 제공
• 벡터 유사도 검색, 전체 텍스트 검색, SQL 분석을 결합한 하이브리드 검색 지원
• 이미지, 비디오, 오디오 등 멀티모달 데이터를 위한 효율적인 저장 및 지연 로딩 지원
• ACID 트랜잭션 및 타임 트래블을 통한 제로 카피 데이터 버전 관리 기능
• Apache Arrow, Pandas, Polars 등 주요 데이터 생태계와 원활한 통합