RAG나 시맨틱 검색 (Semantic Search)을 구축할 때, "임베딩 벡터를 어디에 저장할 것인가"가 첫 번째 설계 판단 기준이 된다.

선택지는 계속 늘어나고 있지만, 모두를 깊게 비교할 필요는 없다. 우선 대표적인 벡터 DB의 "성격"과 초보자가 혼란스러워하기 쉬운 포인트를 정리한다.

벡터 DB (vector database)는 고차원 벡터와 메타데이터를 저장하고, **유사 벡터 검색 (similarity search / nearest neighbor search)**을 고속으로 실행하기 위한 데이터 스토어다.

RAG 파이프라인에서는 다음과 같은 역할을 담당한다.

[오프라인]
문서 → 청크 분할 (Chunking) → 임베딩 → 벡터 DB로 저장
[온라인]
...

이하는 2026년 시점의 공식 문서 및 공개 정보에 기반한, 초보자를 위한 개관이다. 세부 사항은 버전이나 플랜에 따라 달라지므로, 선정 전에 반드시 공식 정보를 확인할 것.

pgvector는 PostgreSQL의 확장 기능으로, 일반 테이블에 vector 타입의 열을 추가할 수 있다.

Chroma는 Python 생태계와 궁합이 좋으며, 몇 줄의 코드로 컬렉션 생성과 검색을 할 수 있다.

적합한 사람: RAG의 개념을 배우고 싶다, 사내 데모를 이번 주 안에 내놓아야 한다.

Qdrant는 Rust로 제작된 벡터 검색 엔진으로, Docker 하나로 셀프 호스트할 수 있다. Qdrant Cloud도 존재한다.

Weaviate는 객체 지향형 스키마를 가지며, 벡터 검색 외에도 BM25 등의 키워드 검색을 결합하기 쉽다.

Milvus는 대규모 벡터 데이터용으로 설계된 OSS(Open Source Software)이며, Zilliz Cloud를 통해 매니지드 서비스로도 제공된다.

Pinecone은 풀 매니지드 (Full-managed) 벡터 DB로, 인프라 관리를 최소화하고 싶은 팀이 주로 선택한다.

시작
│
├─ 이미 PostgreSQL을 프로덕션에서 사용 중인가?
...

• 사용할 임베딩 모델과 차원 수를 문서화했다.
• 예상 벡터 수 (1년 후)를 개략적으로 산출했다 (10만 / 100만 / 1000만).
• 메타데이터 필터 요구사항을 나열했다 (예: 공개 플래그, 카테고리, 업데이트 날짜).
• 매니지드 vs 셀프 호스트의 운영 비용 (인건비 포함)을 비교했다.
• 후보 2곳에 동일한 데이터셋을 넣어 검색 품질을 비교했다 (Recall@K).
• 백업 및 복구 (Backup/Restore) 절차를 확인했다.
• 프로덕션과 개발 환경에서 동일한 DB 제품을 사용할지 결정했다 (PoC에서 Chroma 사용 후 프로덕션으로 이전할 때의 비용).

패턴 1: 벤치마크 기사의 수치만 보고 결정하는 경우

타인의 환경에서의 QPS는 자사의 데이터 분포 및 필터 조건과 일치하지 않는다.

→ 대책: 자사의 청크 (Chunk) 데이터로 후보 2곳을 비교한다.

패턴 2: PoC용 DB를 그대로 프로덕션에 가져가는 경우

Chroma로 만든 프로토타입이 권한, 멀티테넌시 (Multi-tenancy), 모니터링 요구사항을 충족하지 못하게 된다.

→ 대책: PoC 단계에서 "프로덕션 후보와 동일 계열의 DB"로 검증하거나, 이전 비용을 산출한다.

패턴 3: pgvector를 사용하면서 인덱스를 설정하지 않은 채 프로덕션에 올리는 경우

데이터량이 늘어나면 전체 테이블 스캔 (Full Table Scan)이 발생하여 레이턴시 (Latency)가 급증한다.

→ 대책: HNSW 또는 IVFFlat 인덱스를 생성하고, EXPLAIN으로 확인한다.

패턴 4: 매니지드 DB의 비용 산출 부족

벡터 수, 쿼리 수, 스토리지의 종량제 비용이 예상치를 초과한다.

→ 대책: 1년 후의 벡터 수와 월간 쿼리 수를 기준으로 요금 시뮬레이터를 사용한다.

• 벡터 DB는 "임베딩 벡터의 저장과 유사도 검색"에 특화된 스토어다.
• 초보자는 **운영 형태 (매니지드/셀프 호스트)**와 기존 인프라와의 친화성을 기준으로 후보를 좁히는 것이 지름길이다.
• PoC라면 Chroma나 pgvector, 프로덕션 스케일이라면 Qdrant / Weaviate / Milvus / Pinecone이 대표적인 후보가 된다.
• 최종 판단은 자사 데이터에서의 검색 품질 비교와 운영 비용 (인건비 포함)을 통해 수행한다.

다음 단계로, 후보 2곳에 동일한 100개의 청크를 넣고, 동일한 쿼리 10개로 히트 결과를 나란히 놓고 비교해 보면, 표의 숫자만으로는 알 수 없는 "체감되는 정밀도 차이"를 파악할 수 있다.

• pgvector — GitHub
• Chroma — Documentation
• Qdrant — Documentation
• Weaviate — Documentation
• Milvus — Documentation
• Pinecone — Documentation
• Elasticsearch — Dense vector search
• OpenAI — Embeddings guide