대부분의 고장 난 RAG (Retrieval-Augmented Generation) 파이프라인은 충돌(crash)하지 않습니다. 파이프라인은 정상적으로 작동하며 LLM (Large Language Model)에 조용히 잘못된 컨텍스트 (context)를 제공합니다. 그 결과, 당신은 확신에 차 있지만 약간 틀린 답변을 받게 됩니다. 대부분의 문제를 해결할 수 있는 두 가지 방법은 다음과 같습니다:

1. 관련성 하한선 (relevance floor) 추가하기. 벡터 검색 (Vector search)은 실제로 관련 있는 내용이 없을 때도 항상 상위 k개의 결과를 반환합니다. 모델에 노이즈를 제공하는 대신, 약한 매칭 결과는 거부하세요:

results = store.similarity_search_with_score(query, k=5)

relevant = [doc for doc, score in results if score >= 0.75]

if not relevant:

return "I couldn't find anything relevant." # 환각 (hallucination)을 일으키는 것보다 낫습니다

2. 검색하기 전에 쿼리 (query) 재작성하기. 사용자들은 지저분한 질문을 던집니다. 이를 깔끔하게 정리하기 위해 저렴한 LLM 호출을 한 번 사용하는 것만으로도 쿼리 벡터 (query vector)를 크게 날카롭게 만들 수 있습니다: python

search_query = llm.invoke(

f"Rewrite as a clear, standalone search query. Return only the query.\n\n{user_question}"
).content

results = store.similarity_search(search_query, k=5)

저는 풀스택 및 AI 시스템을 구축합니다. 제 작업물은 GitHub에서 확인하실 수 있습니다: github.com/OrienSpec.

저는 풀스택 및 AI 시스템을 구축합니다. 제 작업물은 GitHub에서 확인하실 수 있습니다: github.com/OrienSpec.