검색 증강 생성(RAG)을 사용하는 에이전트 시스템은 더 많은 증거를 수집하고, 대체 정책을 테스트하며, 어떤 복구가 필요한지, 언제, 무엇이 필요한지를 결정함으로써 스스로 답변을 수정해야 합니다. 하지만 정확도와 같은 지표가 오해의 소지가 있을 때, 시스템의 복구 작업이 제대로 작동하는지 어떻게 알 수 있을까요? 우리는 계약 추론(contract inference)을 위한 Jev 기반 하네스에서 모든 복구 결정을 기록하고, 그 기록을 감사하여 RAG 복구 과정 동안 이루어진 모든 결정에 대한 완전한 디버깅을 용이하게 하는 프레임워크인 RagHarnessDebugger를 제시합니다. RagHarnessDebugger는 각 추적(trace)이 온전한지, 각 검증(validation)이 계산되는 후보(candidate)에 적용되는지, 그리고 어떤 답변이 수용 규칙(acceptance rule)에 도달할 수 있는지 확인합니다.
우리는 두 개의 리더 모델과 별도의 계약 복제 세트(replication set)를 사용하여 ContractNLI 비공개 계약을 대상으로 이 접근 방식을 테스트했습니다. 저희 디버거의 감사 계층은 집계된 지표 아래 숨겨져 있던 실패 패턴들을 노출시켰으며, 개발 및 복제 세트에서 이용 가능하지만 실현되지 않은 복구에 대한 정책 수용 비용 대 회귀(policies acceptance cost of repairs vs regressions)와 정책 수용 격차(policy acceptance gap)가 각각 77%와 76%임을 보여주었습니다. 저희의 감사는 레이블이 지정된 오류 분석 및 리플레이 메커니즘과 결합되어, 실행 경로를 최종 결정까지 추적할 수 있게 했고, 누락된 복구가 어디에서 손실되었는지 밝혀냈습니다. 수정된 하네스는 개발 계약에서 초기 BM25 전용 기준선 대비 정확도를 3.6 포인트 향상시켰고, 복제 세트에서는 3.7 포인트를 향상시켰으며, 심지어 개발 및 복제 세트 모두에서 전체 계약 접근 참조 점수(full contract access reference score)를 각각 1.1점과 2.4점 개선했습니다.
비록 저희의 작업이 디버거가 누락된 복구에 대한 결정 근본 원인 분석을 수행하는 방법을 보여주지만, 진정한 가치는 이 디버거를 제공하여 판단 가시성(judgment visibility)을 확보하고 RAG 결정 및 그 설명 가능성(explainability)의 지속적인 개선에 기여하는 데 있습니다.
키워드: agentic RAG, AI evidence repair, harness explainability, counterfactual replay, Jev, ContractNLI