Milvus와 FAISS를 사용하여 벡터 데이터베이스 구축하기

🚀 기술 브리핑 (Technical Briefing): 이 튜토리얼은 Gate of AI의 Agentic Workflows 심층 분석 시리즈의 일부입니다. 전체 기술 분석, 대화형 코드 샌드박스 및 네이티브 아랍어 번역을 확인하려면 여기에서 원문 기사를 방문하세요.

<span>Tutorial</span>
<span>Advanced</span>
<span>⏱ 120 min read</span>
...

이 튜토리얼에서는 Milvus와 FAISS를 사용하여 시맨틱 검색 (semantic search) 기능을 갖춘 AI 애플리케이션을 구동할 고성능 벡터 데이터베이스 (vector database)를 구축하게 됩니다.

사전 요구 사항 (Prerequisites)

• Python 3.10 이상
• Milvus v2.2.0 이상
• FAISS v1.13.0
• Docker v20.10 이상
• Docker 및 Python 프로그래밍에 대한 기본 지식

구축 목표 (What We're Building)

이 종합 튜토리얼에서는 Milvus와 FAISS를 사용하여 확장 가능한 벡터 데이터베이스를 설정하는 과정을 안내합니다. 이 시스템은 텍스트, 이미지, 오디오와 같은 고차원 데이터 (high-dimensional data)의 효율적인 시맨틱 검색 (semantic search) 및 검색 (retrieval)이 필요한 AI 기반 애플리케이션의 중추 역할을 하게 됩니다.

완성된 프로젝트를 통해 쿼리를 벡터 임베딩 (vector embeddings)으로 변환하고, 유사도 검색 (similarity searches)을 수행하며, 밀리초 단위로 가장 관련성 높은 결과를 검색할 수 있게 됩니다. 이 설정은 추천 엔진 (recommendation engines), 이상 탐지 (anomaly detection), 실시간 챗봇 (real-time chatbots)과 같은 애플리케이션에 이상적입니다.

설정 및 설치 (Setup and Installation)

시작하려면 인기 있는 오픈 소스 벡터 데이터베이스인 Milvus와 밀집 벡터 (dense vectors)의 효율적인 유사도 검색 및 클러스터링 (clustering)을 위한 라이브러리인 FAISS를 설치하고 구성해야 합니다. 배포 프로세스를 간소화하기 위해 Docker를 사용하겠습니다.

docker pull milvusdb/milvus:v2.2.0
docker run -d --name milvus -p 19530:19530 milvusdb/milvus:v2.2.0

다음으로, pip를 사용하여 Milvus 및 FAISS용 Python 클라이언트를 설치합니다:

pip install pymilvus==2.2.0
pip install faiss-cpu==1.13.0

또한 구성을 관리하기 위해 몇 가지 환경 변수 (environment variables)를 설정해야 합니다:

export MILVUS_HOST=localhost
export MILVUS_PORT=19530

Step 1: Milvus 클라이언트 초기화 (Initializing the Milvus Client)

우리 프로젝트의 첫 번째 단계는 벡터 데이터베이스 (vector database)와 상호작용할 수 있도록 Milvus 클라이언트를 초기화하는 것입니다. 이는 환경 변수 (environment variables)에 지정된 호스트 (host)와 포트 (port)를 사용하여 Milvus 서버에 연결하는 과정을 포함합니다.

from pymilvus import connections

  
...

여기에서 우리는 pymilvus로부터 connections 모듈을 임포트(import)하고, connect 함수를 사용하여 Milvus 서버와의 연결을 설정합니다. "default" 인자는 이 연결에 대한 별칭 (alias)이며, Milvus가 실행 중인 호스트와 포트를 참조합니다.

Step 2: Milvus에서 컬렉션 생성하기 (Creating a Collection in Milvus)

다음으로, 벡터 데이터를 저장하기 위해 Milvus에 컬렉션 (collection)을 생성해야 합니다. Milvus의 컬렉션은 전통적인 데이터베이스의 테이블 (table)과 유사하며, 벡터의 차원 (dimensions)을 지정하는 스키마 (schema)에 의해 정의됩니다.

from pymilvus import Collection, FieldSchema, DataType

  
...

이 단계에서는 두 개의 필드 (field)로 구성된 컬렉션 스키마를 정의합니다: 기본 키 (primary key) 역할을 하는 정수형 ID 필드와 임베딩 (embeddings)을 저장하기 위한 128차원 부동 소수점 벡터 (float vector) 필드입니다. 그런 다음 이 스키마를 사용하여 컬렉션을 생성합니다.

Step 3: FAISS를 사용한 벡터 인덱싱 (Indexing Vectors with FAISS)

효율적인 유사도 검색 (similarity searches)을 수행하려면 FAISS를 사용하여 벡터를 인덱싱 (indexing)해야 합니다. FAISS는 다양한 인덱싱 방법 (indexing methods)을 제공합니다. 여기에서는 최적의 성능을 위해 Product Quantization (PQ)이 적용된 Inverted File Index (IVF)를 사용하겠습니다.

import faiss
import numpy as np

...

이 코드에서는 무작위 128차원 벡터 세트를 생성하고 FAISS의 L2 정규화 (L2 normalization)를 사용하여 이를 정규화합니다. 그런 다음 IVF10,PQ4 인덱스를 초기화하고, 우리의 벡터로 이를 학습(train)시킨 후, 벡터를 인덱스에 추가합니다.

⚠️ 흔한 실수 (Common Mistake): FAISS의 벡터 차원이 Milvus 스키마에 지정된 차원과 일치하는지 확인하십시오. 차원이 일치하지 않으면 인덱싱 또는 쿼리 (querying) 중에 오류가 발생합니다.

구현 테스트 (Testing Your Implementation)

우리의 설정이 올바르게 작동하는지 확인하기 위해, 주어진 쿼리 벡터 (query vector)에 대해 가장 가까운 벡터들을 찾는 간단한 쿼리를 수행할 수 있습니다. 이 테스트는 Milvus와 FAISS 통합을 모두 점검할 것입니다.

# 쿼리 벡터 (Query vector)
query_vector = np.random.rand(1, 128).astype('float32')
faiss.normalize_L2(query_vector)
...

이 테스트 코드는 무작위 쿼리 벡터를 생성하고, 이를 정규화 (normalize)한 뒤, FAISS 인덱스에서 상위 5개의 근접 이웃 (nearest neighbors)을 검색합니다. 가장 가까운 벡터들의 인덱스가 출력으로 인쇄됩니다.

다음에 구축할 것

기본적인 벡터 데이터베이스 설정을 완료했다면, 다음과 같은 개선 사항을 통해 프로젝트를 확장하는 것을 고려해 보세요:

• Milvus에서 메타데이터 필터링 (metadata filtering)을 통합하여 카테고리나 타임스탬프와 같은 추가 속성을 기반으로 문맥적으로 관련 있는 결과를 검색합니다.
• Next.js를 사용하여 웹 기반 인터페이스를 구현함으로써 사용자가 현대적인 프론트엔드 (frontend)를 통해 벡터 데이터베이스와 상호작용할 수 있도록 합니다.
• 특정 데이터셋과 사용 사례에 맞춰 다양한 FAISS 인덱싱 전략을 실험하고 파라미터 튜닝 (parameter tuning)을 수행하여 성능을 최적화합니다.

GCC 및 중동의 맥락에서, 이러한 벡터 데이터베이스는 석유 및 가스 분야의 예측 유지보수 (predictive maintenance), 금융 분야의 사기 탐지 (fraud detection), 그리고 사우디 비전 2030 (Saudi Vision 2030)과 같은 이니셔티브 하의 스마트 시티 프로젝트 등에서 유용하게 사용될 수 있습니다.