멀티모달 AI를 위해 설계된 오픈 소스 데이터 형식: Lance 발견. Parquet를 Lance로 변환하는 데 단 2줄의 코드만 필요하며

멀티모달 (Multimodal) AI를 위해 설계된 오픈 소스 (Open Source) 데이터 형식인 Lance를 발견했습니다. Parquet를 Lance로 변환하는 데는 단 2줄의 코드만 필요하며, 랜덤 액세스 (Random Access) 속도는 100배 향상되었고, 벡터 인덱스 (Vector Index) 및 데이터 버전 관리 (Data Versioning) 기능이 내장되어 있으며 Pandas, DuckDB, Polars, PyArrow 등 주요 데이터 도구와 호환됩니다.

GitHub:
https://github.com/lance-format/lance

공식 웹사이트:
https://lance.org

핵심 기능:

• 하이브리드 검색 (Hybrid Search): 벡터 유사도 검색 (Vector Similarity Search) + 전체 텍스트 검색 (Full-text Search, BM25) + SQL 분석을 단일 데이터셋에서 완료
• 랜덤 액세스 (Random Access): Parquet 또는 Iceberg보다 100배 빠르며, 스캔 성능에 영향을 주지 않음
• 멀티모달 데이터 지원 (Multimodal Data Support): 이미지, 비디오, 오디오, 텍스트, 임베딩 벡터 (Embedding Vector)를 통합 저장하며, 효율적인 blob 인코딩 및 지연 로딩 (Lazy Loading) 지원
• 데이터 진화 (Data Evolution): 열 (Column)을 추가할 때 테이블 전체를 다시 쓸 필요 없이 자동으로 기본값을 채워주므로 ML 특징 공학 (Feature Engineering)에 적합
• 제로 카피 버전 관리 (Zero-copy Version Management): ACID 트랜잭션, 타임 트래블 (Time Travel), 태그, 브랜치 기능을 추가 인프라 없이 제공
• 풍부한 생태계 통합: Apache Arrow, Pandas, Polars, DuckDB, Apache Spark, Ray, Trino, Apache Flink, 오픈 디렉토리 (Apache Polaris, Unity Catalog, Apache Gravitino)

고성능 멀티모달 데이터 저장, 벡터 검색, ML 특징 공학, 데이터 버전 관리가 필요한 AI 개발자와 데이터 과학자에게 적합합니다.

Quark Cloud Disk를 통해 「AI 전체 공략집 (지속 업데이트 중)」을 공유해 드립니다.
http://pan.quark.cn/s/c7b6691bdf5d