정적인 엔드포인트를 넘어: 유연한 에이전트형 웹 서비스를 위한 인터페이스로서의 도구 프로그램
요약
LLM 에이전트가 복잡한 워크플로우를 효율적으로 수행할 수 있도록 돕는 실행 가능한 도구 프로그램인 ToolPro를 제안합니다. 정적인 엔드포인트의 한계를 넘어 다단계 상호작용을 압축적으로 인코딩하여 지연 시간과 트래픽을 획기적으로 줄입니다.
핵심 포인트
- 정적 엔드포인트 대신 실행 가능한 도구 프로그램(ToolPro) 도입
- 제약 조건 기반 프로그램 구축 및 효과 인지형 재생 기술 적용
- 엔드 투 엔드 지연 시간 최대 53.4% 감소 효과
- 클라이언트 측 네트워크 트래픽 최대 96.1% 감소
- WebAssembly 샌드박싱 기반의 MCP 스타일 서비스 구현
에이전트형 웹 시대에 LLM 기반 에이전트들은 도구로서 웹 서비스를 호출하는 경우가 점점 늘어나고 있지만, 대부분의 인터페이스는 루프(loops), 조건문(conditionals), 조인(joins), 재시도(retries)를 포함하는 장기적 워크플로우(long-horizon workflows)를 제대로 표현하지 못하는 extit{정적인 엔드포인트(static endpoints)}로 남아 있습니다. 우리는 에이전트의 도구 의도를 명시적인 효과 유형(effect types)과 함께 다단계 서비스 상호작용을 압축적으로 인코딩하는 extit{실행 가능한 도구 프로그램(executable tool program)}으로 표현하는 ToolPro를 제시합니다. ToolPro는 제약 조건 기반의 프로그램 구축(constraint-guided program construction), 정확히 한 번만 실행되는 상태 수정 호출을 위한 효과 인지형 재생(effect-aware replay), 그리고 프로그램 실행이 단계별 호출보다 성능이 우수한 시점을 결정하는 프로필 기반 정책(profile-driven policy)을 결합합니다. 우리는 WebAssembly 샌드박싱(sandboxing)을 갖춘 MCP 스타일의 서비스 상에서 ToolPro를 구현하였으며, 실제 애플리케이션의 다양한 워크플로우에서 이를 평가했습니다. ToolPro는 엔드 투 엔드(end-to-end) 지연 시간을 최대 53.4%까지 줄이고, 클라이언트 측 트래픽을 최대 96.1%까지 감소시키며, 네트워크 지연 시간과 워크플로우 복잡도가 높을수록 더 큰 이득을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기