AI와 대규모 언어 모델(LLM)을 탐색해 본 적이 있다면, 아마도 벡터 데이터베이스에 대해 들어봤을 것입니다. 이들은 의미 기반 검색(semantic search), 추천 시스템, 그리고 검색 증강 생성(Retrieval-Augmented Generation, RAG)의 핵심 요소로 LLM에 매우 중요합니다. ChromaDB는 초보자에게 가장 친화적인 옵션 중 하나입니다. 오픈 소스이며 로컬에서 실행되고 시작하기 위해 클라우드 계정이 필요하지 않습니다. 자세히 살펴보겠습니다.

ChromaDB가 특별한 이유?

전통적인 데이터베이스는 키워드를 정확하게 일치시키는 방식으로 검색합니다. 벡터 데이터베이스는 다르게 작동하는데, 데이터를 임베딩(embeddings) (의미를 포착하는 숫자 목록)으로 저장하고 정확한 단어 일치가 아닌 의미적 유사성을 기반으로 결과를 찾습니다.

간단한 예시를 들어보겠습니다. 만약

컬렉션(collection)은 기존 데이터베이스의 테이블과 같습니다. 여기에 문서(documents), 임베딩(embeddings), 메타데이터(metadata)를 함께 저장합니다:

# 컬렉션을 가져오거나 생성합니다 (중복 방지)
collection = client.get_or_create_collection(name="my_documents")

3단계: 문서 추가하기

ChromaDB는 텍스트에 대한 임베딩을 자동으로 생성할 수 있으므로, 벡터를 수동으로 관리할 필요가 없습니다:

collection.add(
    ids=["doc1", "doc2", "doc3"],
    documents=[...

각 문서에는 고유 ID가 필요하며, Chroma가 임베딩 프로세스를 자동으로 처리합니다.

4단계: 의미 기반 검색으로 질의하기

이제 마법 같은 단계입니다. 키워드가 아닌 '의미'로 질의하는 것입니다:

results = collection.query(
    query_texts=["Tell me about animal companions"],
    n_results=2  # 가장 유사한 상위 2개 결과를 반환합니다
...

Chroma는 질문과 의미적으로 가장 가까운 문서를 반환합니다. 이 경우, 자동차 문서가 아니라 개와 고양이 문서가 나올 가능성이 높습니다.

작동 방식 이해하기

내부적으로 ChromaDB는 문서를 **임베딩(embeddings)**으로 변환합니다. 임베딩은 의미를 포착하는 수치적 벡터입니다. 질의할 때, 이는 **코사인 유사도(cosine similarity)**나 **유클리드 거리(Euclidean distance)**와 같은 메트릭을 사용하여 질문 임베딩과 저장된 모든 임베딩 간의 거리를 계산합니다.

ChromaDB는 **HNSW (Hierarchical Navigable Small World)**라는 인덱싱 알고리즘을 사용하여 수백만 개의 문서가 있더라도 유사한 벡터를 빠르게 찾습니다. 이 덕분에 의미 검색이 대규모로 실용적입니다.

기본 지식을 넘어

기본 개념을 이해했다면, 탐색해 볼 만한 몇 가지 방향이 있습니다:

기본 지식을 넘어

기본 개념을 이해했다면, 탐색해 볼 만한 몇 가지 방향이 있습니다:

• 다른 임베딩 모델 사용: 기본 임베딩 모델 대신 OpenAI나 Gemini 임베딩과 같은 전문화된 모델로 교체하여 더 나은 결과를 얻을 수 있습니다.
• 메타데이터 필터링 추가: where 필터를 사용하여 카테고리, 날짜 또는 작성자별로 검색 결과를 필터링할 수 있습니다.
• 배치 작업(Batch operations): 프로덕션 환경에서는 메모리와 오류 처리를 관리하기 위해 데이터를 배치 단위로 추가해야 합니다.
• 서버로 배포: ChromaDB를 독립형 서비스로 실행하여 HTTP API를 통해 접근하게 함으로써 여러 애플리케이션에서 사용할 수 있습니다.

참고:

1,000만 명 이상의 사용자를 처리할 계획이라면, Pinecone이나 Milvus와 같은 다른 벡터 데이터베이스를 사용해야 합니다. 이 경우, Milvus는 무료이며 Pinecone은 유료 서비스입니다.