LLM의 내장 웹 검색을 별도의 검색 API로 분리해, 검색어의 의도를 분류하는 평가에서 정확도를 유지하면서 검색 요금을 98% 이상 절감함. 모델 추론 비용은 제외한 수치임
- 여러 AI 에이전트가
하나의 검색 게이트웨이를 공유하며, 모델과 검색 업체를 독립적으로 교체할 수 있음. 검색 결과 수, 캐시 정책, 장애 시 대체 업체도 설정으로 관리함
같거나 의미가 비슷한 질문의 검색 결과를 재사용해 중복 호출을 줄임. 캐시가 채워진 평가에서는 초기 실행보다 평균 지연 시간이 68%, 검색 비용이 99% 이상 감소함
- 검색 결과를
제목, URL, 본문 발췌문으로 정리해 모델에 전달함. 내장 검색을 켰을 때 ‘답만 출력하라’는 지시를 어기고 불필요한 설명을 붙이는 문제도 줄어듦
- 최신 정보가 필요한 평가에서는
내장 검색이 더 정확했음. 내장 검색도 선택지로 남겨두고, 업무별로 정확도와 최신성, 비용에 맞는 검색 방식을 선택함
검색 의도 이해와 내장 검색의 제약
- DoorDash의
검색 의도 이해(QIU) 시스템은 상품 카탈로그와 웹 근거를 활용해 모호한 마켓플레이스 검색어를 해석함
450 north
를 검색 근거 없이 응답한 모델은 음식점으로 분류했지만, 카탈로그와 웹 검색은 수제 맥주 양조장으로 식별함
로 정해지면 후속 검색은 음식점 결과 대신 관련 상품 재고로 향함
내장 검색(native search) 은 모델 공급자의 API가 자체 검색 스택을 호출하고 결과를 생성 과정에 결합함. 활성화는 쉽지만 요청과 응답 사이의 검색 결정은 외부에서 통제하기 어려움
- 프로덕션 파이프라인에서는 세 가지 제약이 있음
제어: 추론 모델과 검색 백엔드의 경계가 없어 모델 교체나 공급자 가격 변경에 대응하려면 모델 연동을 수정해야 함
재사용: 두 에이전트가 같은 질문을 해도 검색을 가로채 재사용할 지점이 없어 각각 비용을 지불함
관측 가능성과 출력 계약 안전성: 쿼리별 비용과 지연 시간이 드러나지 않고, 검색 활성화가 엄격한 출력 형식을 깨뜨림
검색이 유발하는 장황한 응답
- 중간 처리 단계의 LLM 출력은
JSON, 열거형, 불리언으로 파싱되므로, 설명이나 서문 없이 최종 답만 반환해야 함
- 검색을 끄면 모델이 지시를 따르지만,
내장 검색을 켜면 불필요한 설명을 덧붙이는 경우가 잦음
- 건물 두 개의 높이를 비교하며 최종 답만 요구한 사례에서 내장 검색은 “Based on the search results …”로 시작하는 245자 응답을 반환함
- DSG는 3자인
Yes
를 반환했으며, 두 답 모두 정확했지만 파싱 가능한 것은 하나뿐이었음
HotpotQA에서 Claude Sonnet 4의 내장 검색 응답은 설명성 서두 때문에 명시적인 ‘답만 출력’ 지시를 78.1% 위반함
- DSG는 근거를 생성 스트림에 결합하지 않고
구조화된 도구 응답으로 반환하며, 같은 패턴은 관찰되지 않았음. 다만 이 방식이 출력 형식 위반을 완전히 해결하지는 않음
모델과 검색을 분리하는 공유 게이트웨이
DSG는 에이전트, 추론 모델, 교체 가능한 검색 백엔드 레지스트리 사이에 위치하며, 단일 Model Context Protocol(MCP) 호환 인터페이스를 제공함
-
검색 백엔드에는 Serper, BrightData, Firecrawl, Exa, Tavily가 있으며, 내장 검색도 같은 인터페이스 뒤의 공급자로 등록할 수 있음
-
공급자 선택, 대체 순서, 캐시 정책, 검색 깊이가
코드가 아닌 설정이 되므로 에이전트마다 검색 연동을 하드코딩하지 않아도 됨
-
추론 모델을 바꿔도 근거 검색 정책은 그대로 유지됨
-
플랫폼 팀 하나가 모든 에이전트의 근거 검색을 함께 조정할 수 있음
-
캐시가 에이전트별로 분리되지 않아 여러 워크로드의 사용 결과가 누적됨
-
새 HTTP 공급자는 엔드포인트, 요청 템플릿, 응답 매핑, 비용 메타데이터를 담은
YAML 어댑터로 추가하며 애플리케이션 코드를 바꾸지 않음
-
공급자가 시간 초과를 일으키면 설정된
대체 공급자 체인으로 넘어가, 공급자 하나의 장애로 모든 에이전트의 근거 검색이 중단되는 것을 방지함
요청 처리, 캐시와 관측 가능성
-
각 요청은 외부 검색보다
캐시 재사용을 우선하는 순서로 처리됨
-
쿼리를 정규화해 사소한 표현 차이가 같은 캐시 항목에 대응하도록 함
-
정확 일치 캐시를 확인하고, 적중하면 공급자 호출 없이 즉시 반환함
-
의미 기반 캐시에서 임베딩 유사도가 충분히 높은 기존 결과를 재사용함
-
두 캐시 모두 실패한 경우에만 공급자 체인을 호출하며, 시간 초과나 오류가 발생하면 다음 공급자로 넘어감
-
응답을 공통 형식으로 정규화하고 두 캐시 계층에 저장한 뒤, 구조화된 도구 응답으로 반환함
-
검색 결과는
제목, 출처 URL, 본문 발췌문으로 통일됨
-
모델이 추론 근거의 출처를 명확히 알 수 있고, 플랫폼은 로깅, 디버깅, 출처 필터링에 사용할 결과물을 확보함
-
캐시 항목은
공급자별로 분리되어 서로의 결과를 덮어쓰지 않으며, 정보가 낡는 속도에 맞춰 개별 TTL을 설정함
-
최신성이 중요한 쿼리는 짧게, 안정적인 사실은 길게 보관함
-
한 워크로드가 해결한 쿼리는 유사한 질문을 하는 다른 워크로드에도 즉시 제공할 수 있음
-
모든 처리 단계에서
원격 측정 데이터를 기록하며, 쿼리별 공급자, 캐시 결과, 처리 분기, 검색 깊이, 지연 시간, 비용을 확인할 수 있음
-
대시보드에서 검색 지출 규모와 사용 내역을 추적함
정확도와 검색 비용 평가
- 평가는
GPT-4o, GPT-4o-mini, Gemini 2.5 Flash, Gemini 2.5 Pro, Claude Sonnet 4를 대상으로 공개 QA 벤치마크 3개와 전자상거래 QIU 프로덕션 워크로드에서 수행함
DSG+BrightData는 내장 검색과 정확도 차이가 1.6%p 이내이면서 비용은 약 11분의 1이었음
DSG+Serper는 검색 미사용보다 성능이 명확히 높은 구성 중 가장 저렴했으며, 쿼리 1,000건당 비용이 0.70달러 미만이었음
- QIU 평가는 일반 비식품 소매 쿼리
7,988건과 합성 롱테일 쿼리 2,335건에서 최종 의도 분류 정확도를 측정함
- 추론 모델은 Gemini Flash이며, 비교 기준은 Google 검색 그라운딩을 통합한 Gemini Flash의 내장 검색임
- 일반 소매 데이터에서 DSG+Serper는
93.90%, 내장 검색은 93.40% 정확도를 기록함
- 롱테일 데이터에서는 각각
87.79%, 87.62% 를 기록함
- 두 데이터셋에서 정확도를 유지하거나 소폭 높이면서 검색 비용을
98% 이상 줄임
- 비용은
검색 공급자 요금만 포함하며 모델 추론 비용은 제외함
캐시와 검색 깊이의 효과
-
캐시가 채워진 실행은 초기 실행보다
캐시 적중률이 6.2%에서 99.4% 로 높아짐
-
평균 지연 시간은
68% 줄어듦
-
쿼리 1,000건당 검색 비용은
99% 이상 감소해 반올림하면 0이 되는 수준이었음
-
공유 게이트웨이에 더 많은 워크로드가 연결될수록 캐시가 더 빠르게 채워짐
-
검색 분리는 공급자의 숨겨진 기본값이던
검색 깊이를 조정 가능한 매개변수로 바꿈
-
SimpleQA에서 모델 3개의 검색 결과 수를 2개에서 6개로 늘리자 평균 정확도가
78.7%에서 84.9% 로 6.2%p 높아짐
-
10개로 늘렸을 때는 0.6%p만 추가 상승해
85.5% 가 됨
-
이를 바탕으로 기본 깊이를 정하고, 정확도와 지연 시간 또는 비용을 절충할 수 있음
최신성, 한계와 후속 계획
-
최신성이 중요한
FreshQA에서는 평가 모델 5개 모두 내장 검색이 DSG보다 높은 성능을 보임
-
모델 공급자의 검색 스택은 일반 검색 API가 항상 따라잡지는 못하는 최신성과 색인상의 이점이 있음
-
최신성이 제어 가능성보다 중요하다면 내장 검색이 합리적인 선택이며, DSG는 이를 워크로드별 라우팅 선택지로 유지함
-
DSG는
서드파티 공급자의 안정성, 지연 시간, 데이터 품질에 의존함
-
가격이 바뀌면 측정된 비용 절충점도 달라질 수 있으므로, 지속적인 가치는 특정 가격보다 검색을 바꿀 수 있는 인터페이스에 있음
다중 홉 추론은 단일 홉 조회보다 검색의 이점이 작았음
-
HotpotQA에서는 내장 검색과 DSG 모두 개선 폭이 크지 않았으며, 깊은 추론에는 한 번의 호출보다 반복 검색 루프가 필요할 가능성이 있음
-
구조화된 도구 경계는
검색이 유발하는 장황한 응답을 줄이지만 완전히 해결하지 않음
-
위반을 체계적으로 잡으려면 게이트웨이에 출력 계약을 이해하는 검증기가 필요함
-
후속 계획은 쿼리별 공급자와 검색 깊이를 학습하는
적응형 라우팅, 출력 계약 기반 검증, 다중 홉 워크로드용 반복 검색임
-
추론 모델과 근거 검색은 서로 다른 속도로 발전하므로,
명시적인 검색 인터페이스로 분리하면 각각을 독립적으로 개선하고 요구사항 변화에 맞춰 품질, 최신성, 지연 시간, 비용을 평가하고 조정할 수 있음
댓글과 토론