RAG를 실무에서 사용하기 시작하면, "답변이 빗나감", "근거 없는 단언이 섞임", "고유명사를 놓침"과 같은 불만이 발생한다.

청크(Chunk) 크기나 모델을 갑자기 변경하더라도, 무엇이 잘못되었는지 모르는 상태라면 개선 작업이 막연한 추측에 의존하기 쉽다.

이 기사에서는 RAG의 정밀도 개선을 평가부터 시작하는 사고방식과 초보자가 빠지기 쉬운 실수 패턴을 정리한다.

RAG의 정밀도는 데이터 수집·청킹(Chunking)·임베딩(Embedding)·검색(Retrieval)·리랭킹(Reranking)·프롬프트(Prompt)·LLM 설정 등, 여러 노드(Node)의 곱으로 결정된다.

하나만 바꾸고 "좋아진 것 같다"라고 판단하면, 다른 쿼리에서는 악화되는 케이스를 놓치기 쉽다.

전형적인 함정은 다음 세 가지다.

검색 골드(Search Gold): 이 질문에는 "청크 ID(또는 해당 단락)"가 정답이라고 1건 이상 지정 -
답변 골드(Answer Gold): 기대하는 답변의 요점을 3줄 이내로 작성 (완전 일치는 요구하지 않음) -

완벽한 정답 문장을 준비하기보다, **"이 정보가 포함되어 있으면 합격"**이라는 체크리스트 형식이 운영하기 더 쉽다.

스프레드시트나 CSV로 다음 열을 구성하면 개선 사이클을 돌릴 수 있다.

query_id | 질문문 | 기대 청크 | 취득 청크(Top5) | 검색 OK? | 답변 요점 | 생성 OK? | 메모

"검색 OK?", "생성 OK?"는 Yes/No/부분(Partial)으로 충분하다. 우선은 수동 라벨링으로 진행하고, 건수가 늘어나면 LLM-as-a-Judge나 RAGAS 등의 자동 평가를 검토한다.

검색 단계에서는 올바른 근거가 후보에 포함되어 있는가가 주전장이다.

검색이 어느 정도 잘 되더라도, 답변 품질은 별개의 문제다.

합격: 근거에 따라 질문에 답변하고 있음 -
부분 합격: 요점은 맞지만 누락되거나 장황함 -
불합격: 할루시네이션(Hallucination), 질문과 무관함, 근거와 모순

1. 베이스라인 측정 (검색·생성을 별도 스코어로 기록)
↓
2. 실패 쿼리를 "검색", "생성", "둘 다"로 분류
...

한 번에 여러 파라미터를 바꾸지 않는 것이 철칙이다. 청크 크기와 임베딩 모델, 프롬프트를 동시에 바꾸면 무엇이 효과가 있었는지 알 수 없게 된다.

• 평가용 쿼리를 카테고리별로 20건 이상 준비했다
• 각 쿼리에 대해 「기대되는 청크 (Expected Chunk)」 또는 「기대되는 답변 요점」을 작성했다
• 검색 (Recall@K 등)과 생성 (충실성·관련성)을 별도의 열로 기록하고 있다
• 베이스라인 (Baseline)을 1회 측정하고 수치를 저장했다
• 실패한 쿼리에 대해 검색/생성/둘 다에 라벨을 붙였다
• 한 번의 변경은 1개의 파라미터(Parameter)로 제한하고 있다
• 프롬프트에 「근거가 없는 경우에는 모른다고 답할 것」을 명시했다
• 운영 환경의 로그에서 익명화된 샘플을 정기적으로 평가 세트에 추가하는 운영 방식을 결정했다

패턴 1: 데모용 5개 질문만으로 「정확도 90%」라고 보고한다 → 대책: 카테고리가 분산된 평가 세트와 변경 전후의 차이(Difference) 표를 반드시 남긴다.

패턴 2: 검색 성능이 낮은데 프롬프트만 100번 시도한다 → 대책: 먼저 Recall@K를 측정하고, 누락되는 정보가 많다면 청킹 (Chunking)이나 하이브리드 검색 (Hybrid Search)부터 손을 댄다.

패턴 3: 자동 평가 점수만 믿고 있다가 실제 운영 환경에서 무너진다 → 대책: LLM-as-a-Judge는 참고 지표일 뿐이다. 최종적으로는 수동 샘플 검사와 운영 피드백을 통해 보정한다.

패턴 4: 정답 데이터의 업데이트를 잊는다 → 대책: 문서 개정 시 평가 세트의 기대값도 함께 업데이트하는 규칙을 정한다.

패턴 5: 개선과 동시에 기능 추가 (에이전트화 등)를 진행한다 → 대책: RAG 단독의 베이스라인이 안정된 후에 다음 기능을 추가한다.

• RAGAS — Evaluation framework for RAG
• LangChain — Evaluation
• LlamaIndex — Evaluation
• Pinecone — RAG evaluation
• OpenAI — Cookbook: How to evaluate LLMs