Cloudflare, AI Gateway에 웹 검색 기능을 추가하여 에이전트 응답의 근거를 마련하다

Cloudflare가 검색 제공업체인 Ceramic.ai, Exa, Linkup과의 파트너십을 통해 자체 Web Search API를 AI Gateway에 추가했습니다. 이 기능은 개발자가 추론(inference) 과정 중 모델의 컨텍스트 창으로 실시간 웹 검색 결과를 가져올 수 있게 하여, 모델이 학습 종료 시점에 고정되어 최근 사건이나 변경되는 문서를 다룰 수 없었던 격차를 해소합니다.

접근 경로는 세 가지가 있습니다. AI Gateway를 통해 직접 접근하거나, 표준 REST 엔드포인트(요청 페이로드에 AI Gateway 인증 토큰과 제공업체 이름을 전달)를 이용하거나, Cloudflare가 단 한 줄의 코드로 호출할 수 있다고 밝힌 Workers 바인딩을 통해서입니다. 요청은 모델 추론 호출과 동일한 AI Gateway 관찰 가능성 로그에 나타나며, 사용량은 기존 AI Gateway 크레딧 잔액에서 차감됩니다. Cloudflare는 파트너사로부터 검색 기능을 추가 마크업 없이 list API 가격으로 제공하며, 기존 제공업체 계정을 가진 조직을 위해 Bring-Your-Own-Key 설정을 지원한다고 밝혔습니다. 또한 이 회사는 어떤 파트너가 Zero Data Retention(데이터 보유 없음)을 지원하는지 표시하여 사용자가 자신의 쿼리가 저장되지 않음을 알릴 것이라고 말했습니다.

검색 결과 뒤의 크롤링은 Cloudflare의 봇 정책과 연결되어 있습니다. 파트너 크롤러는 Cloudflare가 발표한 'Verified bots' 요구 사항을 충족해야 하며, 모든 웹 검색 응답은 크롤링된 콘텐츠의 출처로 다시 링크해야 합니다.

Cloudflare는 또한 AI Gateway에 직접 구축될 예정인 향후 'Server Tools'를 미리 보여주었는데, 이는 개발자가 도구 호출 로직을 직접 정의할 필요성을 없애줄 것이며, 웹 검색이 포함될 첫 번째 도구 중 하나가 될 예정입니다. 그때까지 Cloudflare는 웹 검색을 도구 호출 루프에 수동으로 연결하는 방법을 보여주는 Workers 코드 샘플을 공개했습니다.