RAG는 단순히 '답변할 수 있는 것'만으로는 부족합니다: AI 지식 베이스를 평가하는 방법

RAG는 단순히 '답변할 수 있는 것'만으로는 부족합니다: AI 지식 베이스를 평가하는 방법

많은 팀이 RAG를 사용하여 문서 챗봇을 만들고, 세 가지 정도의 질문을 테스트한 뒤 시스템이 준비되었다고 느낍니다. 하지만 일주일 후 사용자가 약간 다른 질문을 던지면, 시스템은 자신 있게 엉뚱한 답변을 내놓습니다.

RAG (Retrieval-Augmented Generation)는 단순히 LLM (Large Language Model)을 문서에 연결하는 것만이 아닙니다. 그 품질은 retrieval (검색), chunking (청킹), ranking (랭킹), prompt (프롬프트), 그리고 evaluation (평가)에 크게 의존합니다.

RAG 구축 시 흔히 발생하는 실수

• Chunk가 너무 큰 경우: retrieval 과정에서 노이즈가 섞인 컨텍스트가 유입됩니다.
• Chunk가 너무 작은 경우: 답변이 중요한 컨텍스트를 놓치게 됩니다.
• Source citation (출처 인용) 부재: 사용자가 답변을 검증할 수 없습니다.
• 오래된 문서가 활성화된 상태: AI가 이미 만료된 정책을 바탕으로 답변합니다.
• 수동 평가 부족: 쉬운 질문들로만 테스트를 진행합니다.

더 유용한 메트릭 (Metrics)

최종 답변만 평가하지 마세요. 평가를 여러 계층으로 분리해야 합니다:

• Retrieval recall (검색 재현율): 올바른 문서가 컨텍스트에 포함되었는가?
• Answer faithfulness (답변 충실도): 답변이 소스(source)에 의해 뒷받침되는가?
• Answer relevance (답변 관련성): 답변이 사용자의 질문에 적절히 답하고 있는가?
• Citation accuracy (인용 정확도): 소스 링크가 실제로 관련이 있는가?
• Refusal quality (거절 품질): 소스가 없을 때 모델이 '모른다'고 말할 수 있는가?

실제 질문 데이터셋 구축하기

지원 티켓, Slack, 고객 이메일 또는 검색 로그에서 50~200개의 질문을 추출하세요. 이를 쉬운 질문, 모호한 질문, multi-hop (다단계 추론) 질문, 그리고 거절되어야 마땅한 질문으로 분류하세요.

{
  "question": "휴대폰을 분실한 사용자의 MFA를 재설정하는 방법은 무엇인가요?",
  "expected_sources": ["docs/security/mfa-recovery.md"],
...

더 안전한 답변 패턴

내부 지식 베이스의 경우, 모델에게 엄격한 제한 사항을 두고 답변하도록 요청하세요:

제공된 컨텍스트에 기반해서만 답변하세요.
컨텍스트가 충분하지 않다면, "문서에서 답변을 찾을 수 없습니다"라고 말하세요.
모든 중요한 주장에는 출처를 포함하세요.
...

좋은 RAG는 지루합니다

좋은 RAG (Retrieval-Augmented Generation)가 항상 길게 답변하는 것은 아닙니다. 그것은 정확하게 답변하고, 출처를 언급하며, 문서가 충분하지 않을 때는 과감히 거절합니다. 비즈니스 애플리케이션의 경우, 똑똑하게 들리는 가짜 답변보다 올바른 "모릅니다"라는 답변이 비용이 더 적게 듭니다.

이 기사는 SavefileArchive에 처음 게시되었습니다.