An Open Benchmark for Testing RAG on Realistic Company-Internal Data

요약

본 기술 기사는 실제 기업 환경의 복잡성을 반영하여 RAG(Retrieval-Augmented Generation) 시스템을 테스트하기 위한 새로운 오픈 벤치마크인 'EnterpriseRAG-Bench'를 소개합니다. 이 벤치마크는 Slack, Gmail, GitHub 등 다양한 내부 소스에서 추출된 약 50만 개의 문서로 구성되어 있으며, 단순한 공개 데이터셋의 한계를 극복했습니다. 개발팀은 단순히 많은 문서를 생성하는 것보다, 문서들이 실제 회사에 속한다는 '현실적인 맥락'과 의존성을 부여하는 데 중점을 두었으며, 랜덤 노이즈와 오류를 추가하여 현실성을 높였습니다. 평가 과정에서는 BM25가 벡터 검색을 능가하고, 관련 증거의 제공이 답변 품질에 결정적임을 발견했습니다.

핵심 포인트

• RAG 벤치마크는 공개 데이터셋 대신 Slack, Gmail 등 실제 기업 내부 소스를 모방한 합성 코퍼스로 구축되어 현실성을 극대화함.
• 데이터 생성 과정은 문서 간의 인과관계와 의존성(예: PR 리뷰 코멘트)을 부여하는 데 초점을 맞추어 높은 충실도를 확보함.
• 평가 결과, BM25 검색 방식이 벡터 검색보다 전반적인 정확도 및 문서 회수율에서 우위를 보였으며, 관련 증거의 제공이 LLM 답변 품질에 가장 중요함을 입증함.
• 벤치마크는 단순 조회부터 오해의 소지가 있는 쿼리, 완전성 질문 등 10가지 범주의 복잡한 검색 실패 모드를 포괄적으로 다룸.
• 최적의 검색 전략(하이브리드, 에이전트, 그래프 트래버스)에 대한 커뮤니티 피드백을 요청하며 실질적인 산업 적용 논의를 유도함.