동일한 BM25 구현, 두 가지 도구 인터페이스를 사용하고 모델에 실제로 전달된 증거를 검토하게 만든 230개 질문의 쌍을 이루는 실험을 진행했습니다.
공지: 저는 여기서 논의되는 개인 연구 프로젝트인 Minimal RAG를 구축했습니다. 이 기사는 기록된 실험과 AI 도움으로 준비되었으며 연결된 결과와 대조되었습니다. 이는 제가 이전에 발표한 프로젝트 사례 연구를 각색한 것이므로, 프로젝트에 대한 독립적인 검증은 아닙니다.
두 버전 모두 BM25를 사용했습니다. 참고 문서 ID를 더 많이 반환하는 버전이 질문을 더 적게 정확하게 답변했습니다.
이는 230개의 BrowseComp-Plus 질문에 대한 역사적 비교에서 흥미로운 결과였습니다. 제 프로젝트의 검색/읽기 인터페이스는 217개를 정확히 답변했습니다. 표준 검색 인터페이스는 194개였습니다. 검색 전용 참고 문서 재현율은 반대 방향으로 움직였습니다: 프로젝트 인터페이스가 86.12%였고, 표준 인터페이스가 89.71%였습니다.
이 비교를 통해 저는 문서를 찾는 것과 유용한 구절을 전달하는 것 사이의 경계에 더 주의를 기울이게 되었습니다. 이는 읽기 도구만으로 차이가 발생했다고 확립한 것은 아닙니다. 반환된 텍스트, 사용 가능한 제어 장치, 프롬프트가 함께 변경되었습니다.
문서 ID는 증거 경로의 시작일 뿐이다
관련 문서가 결과에 나타나더라도, 반환된 텍스트에는 그 도입부 단락만 포함되어 있을 수 있습니다. 필요한 사실이 문서 후반부에 있는 경우, 검색 지표는 성공으로 계산할 수 있지만 모델은 여전히 답변을 얻지 못합니다.
이 예시는 인터페이스 실패 모드를 설명하는 것이며, 실험의 모든 오류를 재구성한 것은 아닙니다. 이는 결과 목록 지표가 판단할 수 없는 질문을 제기합니다: 모델은 정확히 어떤 출처 텍스트를 받았으며, 그 텍스트가 불충분했을 때 무엇을 할 수 있었는가?
Minimal RAG는 작은 루프를 유지합니다. 모델이 도구 호출(tool call)을 요청하면, 루프가 이를 실행하고 그 결과 관찰값(observation)이 다시 모델로 돌아갑니다. 모델은 쿼리, 출처(source), 읽기 범위(reading range), 그리고 답변 시점을 선택합니다. 기본 검색 구현체는 SQLite FTS5 BM25를 사용하며, 이 구성에는 임베딩 모델이나 리랭커가 없습니다.
이는 기존 연구 방향과 일치함
모델의 결정과 외부 정보 수집을 번갈아 사용하는 광범위한 아이디어는 확립된 연구입니다. ReAct는 외부 출처와의 상호작용을 포함하여 추론(reasoning)과 행동(actions)을 교차합니다. IRCoT은 다단계 질문 답변을 위해 검색과 추론의 교차를 연구하며, 이때 후반부 검색은 이전에 얻은 정보에 의존합니다.
이러한 논문들은 설계에 대한 배경 지식을 제공할 뿐입니다. Minimal RAG의 점수를 검증하지는 않습니다. 본 프로젝트는 그들의 실험 프로토콜을 재현하거나 보고된 결과와 직접 비교하지 않습니다. 여기서 설명하는 기여는 더 좁습니다: 동일한 BM25 구현체를 사용한 두 가지 증거 인터페이스에 대한 공학적 비교입니다.
두 아크(Arm) 간 실제로 변경된 사항
프로젝트 인터페이스는 두 개의 도구를 제공했습니다. 검색은 1개에서 최대 20개의 개별 문서를 반환할 수 있으며, 각 문서에는 2,000자 분량의 발췌문, 출처 ID, 오프셋(offset), 문서 길이가 포함됩니다. 이는 페이지네이션과 특정 문서 내 검색을 지원했습니다. 읽기(Read)는 기본값으로 4,000자를 사용하며, 오프셋으로부터의 연속 읽기를 허용했습니다.
표준 검색 인터페이스는 쿼리당 5개의 결과를 반환했으며, 각 결과에는 최대 512 토큰으로 제한된 문서 시작 부분이 포함되었습니다. 별도의 읽기 도구는 없었습니다. 문자(Characters)와 토큰은 다른 단위이므로, 이러한 제한은 단순한 발췌문 길이 비율을 의미하지 않습니다.
두 아크 모두 동일한 BM25 랭킹 구현체와 핵심 루프, 즉 Codex 백엔드와 gpt-6.1-sol을 사용했습니다.
높은 추론 노력, 외부 웹 접근이 없는 고정된 코퍼스, 질문당 30개의 모델 호출 제한 하에서 답변을 점수화했습니다. 이 프로젝트는 공식 스크립트를 고정하여 Qwen3-32B BF16으로 점수를 매겼습니다. 이는 유지 관리자가 검증한 리더보드 결과가 아니라 공식 평가 도구의 로컬 사용입니다.
기록된 실험 보고서에는 프로토콜과 지원 기록 링크가 제공됩니다.
동일 질문 비교
AI 지원 플로팅 코드로 생성된 프로젝트 기록 지표의 원본 그래프. 격리된 리드 툴(read-tool) 제거 실험이 아닌, 인터페이스 번들의 역사적 비교입니다.
동일한 230개 질문에 대해, 프로젝트 인터페이스와 표준 검색은 다음을 기록했습니다:
정답률: 217 대 194로, 각각 94.35% 대 84.35%. 평균 검색 호출: 12.16 대 19.84. 평균 읽기 호출: 3.33 대 0. 평균 검색 전용 참고 문서 재현율: 86.12% 대 89.71%.
프로젝트 인터페이스는 28승, 5패, 197무를 기록했습니다. 정확도 차이에 대한 원래의 쌍별 부트스트랩(paired-bootstrap) 95% 구간은 +5.22점에서 +14.78점이었습니다. 질문당 수치 CSV 파일은 벤치마크 질문이나 답변을 재출판하지 않고도 개수를 검사할 수 있게 합니다.
재현율 지표는 검색에 의해 반환된 참고 문서 ID를 계산합니다. 이는 결정적인 구절이 보이는지 여부를 측정하지 않으며, 읽기 호출을 통해 얻은 증거를 완전히 설명하지 못합니다. 따라서 표준 인터페이스보다 높은 값이라고 해서 모델이 답변하는 데 더 나은 증거를 가지고 있었다는 것을 의미하지 않습니다.
구성 요소를 추가하기 전에 검토할 세 가지 인터페이스 상세 내용
반환된 텍스트 위치 파악. 소스 ID와 오프셋을 결합하면 관찰 내용을 해석할 수 있게 합니다. 독자는 문서의 시작 부분과 어휘 일치 근처의 구절을 구별할 수 있습니다.
불완전함을 가시화하기. 문서 길이와 잘림 표시기(truncation indicator)는 모델에게 현재 시야가 부분적일 수 있음을 알려줍니다. 이것 자체가 더 많은 읽기가 도움이 될 것이라는 것을 증명하지는 않습니다.
후속 조치(continuation action) 제공. 다른 스팬을 읽거나, 동일한 소스 내부를 검색하거나, 후보 페이지를 요청하는 것은 모델에게 구체적인 다음 단계를 제공합니다. 이는 사용 가능한 행동이며, 루프가 모든 질문을 고정된 순서로 강제하지는 않습니다.
트레이스 검토 시에는 후보 ID, 정확히 반환된 스팬, 후속 호출(continuation calls), 그리고 최종 답변이 인용한 소스를 점검할 것입니다. 검색 기록 어딘가에 나타나는 올바른 ID는 필요한 사실이 실제로 모델에게 도달하는 것보다 약한 관찰입니다.
실험이 여전히 확립하지 못한 것들
해당 질문들은 개발 과정에서 사용되었습니다. 설계 결정에 의해 건드려지지 않은 별도의 데이터가 아니었습니다. 쌍을 이루는 간격(paired interval)은 그러한 선택 효과나 반복적인 모델 생성 전반의 가변성을 고려하지 못합니다.
여러 인터페이스 속성들이 함께 변경되었기 때문에, 종합 결과만으로는 읽기 접근(read access), 패시지 배치(passage placement), 매개변수(parameters), 프롬프트 간에 얻은 이득을 할당할 수 없습니다. 동등한 모델 호출 제한(model-call caps) 역시 동등한 토큰 사용량이나 청구 비용을 확립하지 못합니다. 그 결과는 BM25가 밀집 검색(dense retrieval)보다 보편적으로 우수하다는 점에 대해서는 아무것도 말해주지 않습니다.
현재의 직접 응답 API 백엔드는 30개 질문짜리 엔터프라이즈 마이그레이션 검사만 있는 별도의 구성입니다. 이러한 과거 Codex 결과들은 해당 백엔드나 그 개방형 호출 예산으로 자동 이전되지 않습니다.
저의 실질적인 결론은 증거 인터페이스(evidence interface)와 검색기(retriever)를 함께 평가하는 것입니다. 다른 컴포넌트를 추가하기 전에, 모델이 유용한 패시지를 찾고, 부분적인 뷰를 인식하며, 계속해서 증거를 수집할 수 있는지 확인해야 합니다. 이 실험은 개별적인 인과적 기여도는 열어둔 채로, 이러한 역량들을 신중하게 조사할 이유를 저에게 제공합니다.
저는 위에 연결된 프로젝트를 유지하고 있습니다. 논문 참고 자료는 연구 맥락을 설명하며; 프로젝트 기록들은 보고된 비교를 뒷받침합니다. 이 글을 위해 새로운 모델 평가는 수행되지 않았습니다.