지식이 공짜가 아닐 때: 검색 증강 생성 (RAG)에서의 비용 인식 증거 선택

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 일반적으로 외부 지식을 얻는 데 비용이 들지 않는다고 가정하지만, 많은 고품질 소스들은 유료 결제 장벽(paywalled)이 있거나, 라이선스가 필요하거나, 접근이 제한되어 있거나, 혹은 그 외의 방식으로 접근 비용이 발생합니다. 본 논문에서는 검색된 증거에 접근 비용 계층(access-cost tiers)이 할당되고, 시스템이 명시적인 증거 접근 예산(evidence-access budget) 내에서 답변해야 하는 설정인 비용 인식 RAG (cost-aware RAG)를 소개합니다. 우리는 MS MARCO v2.1에 접근 마찰(access-friction) 계층을 추가하여 이 설정을 구체화하였으며, 일반 도메인 및 특정 도메인 QA 벤치마크 전반에 걸쳐 예산 기반의 증거 선택을 평가했습니다. 연구 결과, 정적 선택(static selection) 방식은 취약한 것으로 나타났습니다. 즉, 어떤 고정된 선택기(selector)도 일관되게 우위를 점하지 못하며, 비용이 많이 드는 증거가 도메인에 일치하더라도 더 큰 예산이 답변 품질을 안정적으로 향상시키지는 못했습니다. 이어서 우리는 LLM이 언제 검색할지, 어떤 계층에 접근할지, 그리고 언제 멈출지를 결정하는 에이전트 기반 비용 인식 RAG (agentic cost-aware RAG)를 연구합니다. 에이전트들은 적응형 증거 획득 제어기(adaptive evidence-acquisition controllers)로서 강력한 가능성을 보여주었으나, 그 동작은 모델과 작업에 따라 크게 달라지는 특성을 보였습니다. 이러한 발견은 비용 인식 증거 획득이 차세대 RAG 시스템의 핵심 과제임을 시사합니다. 모든 코드와 데이터는 https://github.com/Mignonmy/Cost-Aware 에서 확인할 수 있습니다.