대부분의 RAG 튜토리얼은 embedding <=> query 단계에서 멈춥니다. 연산자를 보여주고, 다섯 개의 행을 반환하며, 그것을 검색(retrieval)이라고 부릅니다. 그러다 서비스를 출시하고 두 번째 고객이 가입하면, 튜토리얼이 생략했던 네 가지 사실을 깨닫게 됩니다: 절반이 NULL인 컬럼에 대한 인덱싱(indexing), 거리(distance)와 유사도(similarity)의 부호 반전, 차원 잠금(dimension lock-in), 그리고 테넌트 격리(tenant isolation)를 조용히 우회하는 함수입니다.

저는 Discord 기반의 Company Brain을 운영하고 있습니다. 팀들이 문서, 링크, PDF를 /save하면, /ask를 통해 근거가 있고 인용된 답변을 반환합니다. 전체 벡터 저장소(vector store)는 pgvector가 포함된 단일 Supabase Postgres로 구성되어 있습니다. Pinecone이나 별도의 비용을 청구하고 정산해야 하는 두 번째 시스템은 없습니다. 실제 워크스페이스 환경에서 서비스가 생존할 수 있게 해준 네 가지 패턴을 소개합니다.

문제점: 벡터 컬럼은 벡터 저장소가 아니다

vector(1536) 컬럼은 저장 공간과 거리 연산자를 제공합니다. 하지만 빠른 검색, 정확한 랭킹(ranking), 차원 규율(dimension discipline), 또는 멀티 테넌트(multi-tenant) 안전성을 제공하지는 않습니다. 이것들은 네 가지 별개의 결정 사항이며, 그중 하나라도 잘못되면 컴파일 에러가 아닌 프로덕션 버그로 나타납니다.

우리의 artifacts 테이블은 워크스페이스가 수집한 모든 청크(chunk)를 보유합니다. 관련 컬럼은 다음과 같습니다:

  CREATE TABLE artifacts (
...