의도에서 실행까지: 에이전트 추천을 통한 에이전트 워크플로우 구성

AI 에이전트를 기반으로 구축된 다중 에이전트 시스템 (Multi-Agent Systems, MAS) 은 사용자 의도를 충족시키며, 이를 통해 관련 응용 프로그램의 일련이 설계되고 구축될 수 있습니다. 그러나 현재 이러한 MAS 를 구축하는 과정은 계획의 수동 구성, 적합한 에이전트의 수동 선택, 그리고 실행 그래프의 수동 생성을 포함합니다. 이 논문은 여러 수동 단계를 자동화된 프레임워크로 대체하는 다중 에이전트 시스템의 자동 생성 프레임워크를 소개합니다. 제안된 프레임워크는 필수적인 작업 특화 응용 프로그램을 오케스트레이션하기 위한 소프트웨어 모듈과 워크플로우로 구성됩니다. 모듈에는 다음이 포함됩니다: LLM 에서 유도된 계획자 (planner), 자연어로 기술된 작업 집합, 동적 호출 그래프, 에이전트를 작업에 매핑하는 오케스트레이터, 그리고 로컬 및 글로벌 에이전트 레지스트리에서 가장 적합한 에이전트 (들) 를 찾는 에이전트 추천기 (agent recommender). 에이전트 추천기는 빠른 검색기 (retriever) 와 LLM 기반 리랭커 (re-ranker) 를 포함한 2 단계 정보 검색 (IR, Information Retrieval) 시스템을 사용합니다. 우리는 임베더 (embedder), 리랭커, 에이전트 설명 강화, 및 감독 평가 에이전트 (supervising critique agent) 의 선택을 탐구하는 실험 시리즈를 구현했습니다. 이 시스템은 계획, 에이전트 선택, 및 작업 완성을 포함한 조합을 제안된 접근법과 비교하여 엔드 투 엔드 (end-to-end) 벤치마킹했습니다. 우리의 실험 결과는 우리가 제시한 접근법이 회귀율 (recall rate) 측면에서 최첨단 기술 (state-of-the-art) 을 능가하며 이전 접근법에 비해 더 견고하고 확장 가능한 것을 보여줍니다. 평가 에이전트는 전체 계획에 대항하여 에이전트 및 도구 추천을 종합적으로 재평가합니다. 우리는 평가 에이전트의 포함이 회귀 점수를 더욱 향상시킨다는 것을 보여주며, 작업 기반 에이전트 선택의 포괄적인 검토 및 수정은 엔드 투 엔드 다중 에이전트 시스템을 구축하는 데 필수적인 단계임을 증명했습니다.