RECTIFY: 사후 평가 RAG 진단, 복구 및 검증을 위한 인터랙티브 워크벤치
요약
본 글은 RAG(검색 증강 생성) 평가 결과를 단순히 식별하는 것을 넘어, 개발자가 실제로 무엇을 수정해야 할지 안내하는 인터랙티브 워크벤치 RECTIFY를 소개합니다. RECTIFY는 실패 사례를 실행 가능한 복구 단위로 분류하고, 검증 가능한 편집형 카드를 제공하여 RAG 시스템의 진단 및 개선 과정을 돕습니다.
핵심 포인트
- RECTIFY는 RAG 평가 결과를 감사 가능한 복구 워크플로우로 변환합니다.
- 실패 사례를 '실행 가능한 계열'과 '세분화된 복구 슬라이스'로 분류합니다.
- BM25, 밀집, 하이브리드 검색 등 다양한 검색 방식의 실패 유형을 분석할 수 있습니다.
- 오픈 소스로 공개되어 개발자가 RAG 시스템 개선에 활용 가능합니다.
검색 증강 생성(Retrieval-Augmented Generation, RAG) 평가는 약한 검색, 부실한 근거 마련(grounding), 불완전한 답변, 지원되지 않는 생성과 같은 실패를 식별할 수 있지만, 개발자가 다음에 무엇을 복구해야 할지 결정하는 데 도움을 주는 경우는 드뭅니다. 우리는 평가된 RAG 사례를 감사 가능한 복구 워크플로우로 변환하는 인터랙티브 Streamlit 워크벤치인 RECTIFY를 소개합니다. RECTIFY는 복구가 필요하지 않은 사례를 필터링하고, 나머지 실패들을 실행 가능한 계열(actionable families)과 세분화된 복구 슬라이스(finegrained repair slices)로 라우팅하며, 개발자가 승인, 거부 또는 샌드박스 재실행을 통해 검증할 수 있는 편집 가능한 복구 카드를 생성합니다. 통제된 RAG 벤치마크에서 RECTIFY는 BM25, 밀집(dense), 하이브리드 검색 전반에 걸쳐 해석 가능한 실패 프로파일을 노출합니다: BM25는 주로 잡음성 검색(noisy-retrieval) 복구를 유발하는 반면, 밀집 및 하이브리드 검색은 더 작은 규모의 다중 부분 미검색(underretrieval) 및 미사용 증거(underused-evidence) 사례를 남깁니다. 추가 분석에 따르면 사전 필터링은 불필요한 복구 후보군을 줄이고, 슬라이스 레벨 라우팅이 광범위한 계열 수준 진단보다 더 목표 지향적인 복구 카드를 제공함을 보여줍니다. RECTIFY는 개발자가 평가 결과를 검사 가능한 복구 결정으로 전환하는 데 도움을 주는 오픈 소스 Streamlit 워크벤치로 공개되어 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기