Show GN: RouteMind – 인간의 개입은 RAG 성능을 얼마나 바꿀까?

RouteMind라는 Agentic RAG 프로젝트를 만들고 있습니다.

일반적인 RAG가 문서를 chunking하고 embedding한 뒤 검색하는 방식이라면, RouteMind는 사람이 지식의 영역(Area)과 그 관계를 정의하고 Agent가 먼저 어디를 찾아야 하는지 routing한 뒤 해당 영역의 문서를 읽도록 합니다.

이 프로젝트에서 지금 가장 궁금한 건 “RAG에 사람이 어느 정도 개입했을 때 실제 성능이 좋아지는가?” 입니다.

사람이 모든 지식을 직접 구조화하면 정확할 수 있지만 유지비용이 커지고, 반대로 전부 embedding/search에 맡기면 확장성은 좋지만 오래된 정보와 현재 유효한 정보, authority가 다른 기록처럼 semantic similarity만으로 해결하기 어려운 문제가 생깁니다.

그래서 현재는 사람이 만든 작은 routing table을 기준으로 Agent가 탐색하게 하고, corpus를 늘리면서 이 구조가 얼마나 유지되는지를 실험하고 있습니다.

지금까지는 다음을 중심으로 검증하고 있습니다.

• routing accuracy와 false absence (
  not here

라고 잘못 판단하는 경우) - 실제로 corpus에 답이 없을 때 올바르게
not here

라고 판단하는지 - 문서를 10배 늘려도 routing table을 수정하지 않고 유지되는지

• naive RAG / hybrid+rerank / routing 방식 비교
• 과거에는 맞았지만 현재는 효력이 없는 정보(stale/superseded)를 구분할 수 있는지

특히 최근 실험에서는 관련 문서를 찾는 것(retrieval) 과 그중 현재 효력이 있는 정보를 결정하는 것(continuity/authority) 이 서로 다른 문제일 수 있다는 쪽을 보고 있습니다.

아직 “이 방식이 RAG보다 낫다”는 결론을 내린 단계는 아닙니다. 오히려 인간이 지식 구조에 개입하는 비용과 그로 인해 얻는 정확도 사이의 경계가 어디인지 찾는 과정에 가깝습니다.

MCP 서버 형태로 사용할 수 있고, 지식 데이터는 DB 대신 Git repository에 저장합니다.

피드백 받고 싶은 부분은 이런 human-in-the-loop 구조가 실제 조직의 지식 관리/RAG 환경에서도 유효할지, 그리고 비교 실험에서 추가해야 할 baseline이나 failure case가 있는지입니다.