RAG 스택은 사용하지 않는 RAM에 대해 비용을 지불하고 있습니다. 누군가 1,000만 개의 문서를...

요약

RAG 스택의 메모리 효율성 문제를 해결하기 위해 1,000만 개의 문서를 단 4GB의 RAM에 담을 수 있는 새로운 벡터 인덱스 기술이 공개되었습니다. 기존 float32 방식(31GB) 대비 압도적인 압축률을 자랑하며, FAISS보다 빠른 검색 성능을 제공합니다.

핵심 포인트

• 1,000만 개 문서 기준 4GB RAM으로 인덱싱 가능
• 기존 float32 방식 대비 약 1/8 수준의 메모리 사용량
• FAISS보다 빠른 검색 속도 구현
• RAG 시스템의 메모리 비용 최적화 가능