Grep만 있으면 충분할까? Agent Harness가 Agentic Search를 어떻게 재편하는가

요약

본 논문은 LLM 에이전트 워크플로우에서 검색 전략(grep vs. 벡터 검색)의 선택이 에이전트 아키텍처 및 도구 호출 방식과 어떻게 상호작용하는지 실증적으로 분석합니다. 실험 1에서는 커스텀 하네스와 제공자 CLI를 사용하여 grep과 벡터 검색을 비교했으며, 모델이 인라인 또는 파일 기반으로 도구 결과를 받는 경우 모두에서 grep이 일반적으로 더 높은 정확도를 보였습니다. 또한, 전체 성능은 사용되는 에이전트 하네스와 도구 호출 스타일에 크게 의존함을 보여줍니다.

핵심 포인트

• LLM 에이전트 워크플로우의 복잡성 증가로 인해 검색 전략과 아키텍처 간의 상호작용 분석이 중요해지고 있습니다.
• 실험 결과, LLM 에이전트 환경에서 grep 방식이 벡터 검색보다 일반적으로 더 높은 정확도를 보였습니다.
• 에이전트의 최종 성능은 사용되는 특정 하네스(Chronos 등)와 도구 호출 스타일(인라인 vs. 파일 기반)에 크게 좌우됩니다.