면접관: 당신의 RAG 챗봇이 잘못된 답변을 내놓습니다. 무엇부터 확인해야 할까요?

요약

본 기사는 RAG 챗봇의 오류 원인을 진단하는 면접 시나리오를 제시하며, 단순한 모델 확장보다 구조적 개선을 강조합니다. 전문가들은 검색된 청크 자체의 버그 확인부터 하이브리드 검색, 리랭커 추가 등 다층적인 접근 방식을 제안합니다. 또한, 메타데이터 필터링과 평가 세트 구축을 통해 시스템 성능을 객관적으로 측정하는 것이 중요함을 역설합니다.

핵심 포인트

• 검색된 청크를 직접 확인하여 청킹 버그(표 분리, 문자열 추출 오류)를 점검해야 합니다.
• 임베딩의 한계를 보완하기 위해 벡터 검색과 키워드 검색을 결합한 하이브리드 검색이 효과적입니다.
• 상위 후보군에 리랭커(reranker)를 추가하여 재순위화하는 것이 품질 향상에 큰 도움이 됩니다.
• 날짜, 제품 등 메타데이터로 먼저 필터링하여 컨텍스트의 정확성을 높여야 합니다.
• 성능 개선을 위해 알려진 답이 있는 작은 평가 세트(eval set)를 구축하고 측정해야 합니다.