가장 효과적인 방법은 모델 크기 증가가 아니었다

요약

잘못된 답변을 내는 RAG 챗봇의 문제 해결 방안에 대한 전문가 인터뷰입니다. 단순히 모델 크기를 키우거나 문서 양을 늘리는 것보다, 청킹 버그 확인, 하이브리드 검색 도입, 재순위화기 사용 등 시스템 아키텍처 개선이 핵심임을 강조합니다.

핵심 포인트

• 잘못된 답변은 종종 검색된 청크 자체의 오류(청킹 버그)에서 기인한다.
• 임베딩의 한계를 보완하기 위해 키워드 검색을 추가하는 하이브리드 검색이 효과적이다.
• 재순위화기(reranker)를 사용하면 상위 5개 후보만으로도 품질 향상을 가져올 수 있다.
• 메타데이터 필터링과 답변 불가 시 '모르겠다'고 말하게 하는 것이 중요하다.
• 정확한 성능 측정을 위해 실제 질문 기반의 평가 세트 구축이 필수적이다.