AI 에이전트 (AI agents)는 크게 발전했습니다.

하지만 그 밑단의 인프라는... 그렇지 못합니다.

대부분의 검색 API (search APIs)는 한 번에 한 가지를 검색하는 인간을 위해 설계되었습니다. 에이전트는 그렇지 않습니다. 에이전트는 문제를 수십 개의 검색으로 나누고, 최신 정보를 가져오며, 그 모든 것을 바탕으로 추론 (reasoning)합니다.

이것이 이번 출시가 제 관심을 끈 이유입니다.

Octen은 기존의 검색 방식을 API로 감싸는 대신, 인덱스 (index)부터 랭킹 (ranking) 및 서빙 (serving)에 이르기까지 검색 스택 (search stack)을 AI를 위해 특별히 재구축했습니다. 결과물은 이미 LLM (Large Language Models)에 맞게 포맷팅되어 있으며, 분 단위의 인덱스 신선도 (index freshness)와 함께 평균 검색 지연 시간 (search latency)을 62ms까지 낮췄다고 주장합니다.

만약 이러한 벤치마크 (benchmarks)가 실제 운영 환경에서도 유지된다면, 이는 단 하나의 모델뿐만 아니라 모든 에이전트를 더 뛰어나게 만드는 인프라 업그레이드가 될 것입니다.