1,000만 개의 문서를 단 4GB의 RAM에 담을 수 있는 벡터 인덱스가 오픈 소스로 공개되었습니다.

요약

1,000만 개의 문서를 단 4GB의 RAM만으로 처리할 수 있는 혁신적인 오픈 소스 벡터 인덱스가 공개되었습니다. 별도의 학습 과정 없이 임베딩을 16배 압축하며, 검색 속도 측면에서 기존 faiss를 능가하는 성능을 보여줍니다.

핵심 포인트

• 1,000만 개 문서 기준 4GB RAM만으로 인덱싱 가능
• 추가 학습 없이 임베딩 16배 압축 기술 적용
• 기존 faiss 라이브러리보다 빠른 검색 속도 구현
• 오픈 소스로 공개되어 즉시 활용 가능