긴 문서에 대한 검색 증강 생성 (Retrieval-augmented generation, RAG)은 하나의 설계 방식이 지배하고 있습니다. 바로 텍스트를 청크 (chunk)로 나누고, 청크를 임베딩 (embedding)한 뒤, 쿼리에 가장 가까운 상위 k개의 이웃 (top-k nearest neighbours)을 찾아내는 방식입니다. 우리는 재무제표, 감사 보고서, 규제 보고서와 같은 중요한 문서 범주에 대해 이 설계가 구조적으로 결함이 있다고 주장하며, 이를 측정 가능한 방식으로 입증합니다. 780페이지 분량의 정부 재무 보고서의 경우, 콘텐츠 라인의 86.8%가 표의 행 (table rows)이며, 수천 개의 거의 동일한 수치들이 하나의 임베딩 공간에서 경쟁합니다. 또한, 특정 수치는 중앙값 기준으로 13줄 위에 있는 헤더 (header)로부터 단위를 상속받습니다. 따라서 청크 경계가 수치와 해당 수치가 'lakh'인지 'crore'인지(두 자릿수 차이의 오류 발생)를 일상적으로 분리해 버립니다. 강력한 대안(steelman)으로서 구축된 표 인식 청커 (table-aware chunker)는 단위 문제를 해결하지만, 우리가 시도한 모든 청크 크기에서 숫자 청크의 27~30%가 회계 연도 헤더를 포함하지 못하는 상태로 남았습니다.

우리는 READ (Reliable Embedding-free Agentic Document-search)를 제안합니다. READ에서 에이전트는 세 가지 결정론적 작업인 정규화된 어휘 검색 (normalized lexical search), 구조적 탐색 (structural navigation), 제한된 범위 읽기 (bounded span reads)를 통해 원본 문서를 읽으며, 이는 Model Context Protocol을 통해 노출됩니다. 따라서 에이전트의 궤적 (trajectory)은 불투명한 유사도 점수 (similarity score)가 아닌, 재현 가능한 감사 추적 (audit trail)이 됩니다. 51개의 검증된 질문에 대해 READ는 밀집 검색 (dense retrieval)의 15.7% (p_Holm = 2 x 10^-5) 대비 58.8%의 정답률을 기록했습니다. 튜닝된 모델의 35.3%와 비교해도 READ는 여전히 23.5포인트 차이로 앞섭니다 (p_Holm = 0.017). 동일한 루프를 갖되 top-k 도구만을 사용하는 에이전트는 27.5%에 그쳤으며, 이는 성능 향상이 반복 (iteration)이 아닌 인터페이스에서 발생함을 보여줍니다. 또한 우리는 증거가 뒷받침하지 않는 부분도 보고합니다. BM25는 통계적으로 READ와 구별되지 않으므로, 우리의 결과는 에이전트 기반 검색과 어휘 검색의 차이가 아니라, 임베딩 기반 검색과 임베딩 프리 (embedding-free) 검색의 차이를 분리해낸 것입니다.