대부분의 RAG 튜토리얼은 목표의 70% 정도까지만 안내합니다. 이 글은 실제 프로덕션(Production) 환경에서 정말 중요한 나머지 30%에 관한 것입니다.

• 기본적인 RAG가 실패하는 이유
  문서를 임베딩(Embedding)하고, 상위 k개를 검색(Retrieve)하여, LLM에 전달합니다. 간단하죠. 하지만 프로덕션 환경에서는 금방 한계에 부딪힙니다. 밀집 벡터 검색(Dense vector search)은 정확한 키워드 일치를 놓치고, 키워드 검색(Keyword search)은 의미론적 의미(Semantic meaning)를 놓칩니다. 검색 품질은 정체되고, 잘못된 컨텍스트가 입력되면서 LLM은 환각(Hallucination)을 일으키기 시작합니다.

• 하이브리드 검색(Hybrid Retrieval)이 이를 해결합니다
  밀집 벡터 검색(Dense vector search)과 BM25 키워드 검색(Keyword search)을 결합한 다음, 상호 순위 결합(Reciprocal Rank Fusion, RRF)을 사용하여 순위가 매겨진 결과들을 융합하세요. 두 방식의 장점을 모두 얻을 수 있으며 검색 정밀도(Retrieval precision)가 눈에 띄게 향상됩니다.

• 리랭커(Reranker) 추가하기
  검색(Retrieval) 후에, 상위 후보군에 대해 크로스 인코더(Cross-encoder) 리랭커를 실행하세요. 임베딩 유사도(Embedding similarity) 방식보다 느리지만 훨씬 더 정확합니다. 이는 기본적인 RAG가 작동한 이후에 수행할 수 있는 가장 높은 ROI(투자 대비 효율)를 가진 개선 사항입니다.

• 모든 것을 측정하세요
  대부분의 사람들은 평가(Evaluation)를 완전히 건너뜁니다. 무언가를 변경하기 전에 히트 레이트(Hit rate), MRR, 충실도(Faithfulness)를 측정하는 하네스(Harness)를 구축하세요. 그렇지 않으면 모델을 교체하거나 프롬프트(Prompt)를 수정할 때마다 눈을 감고 비행하는 것과 다름없습니다.