Agora: 경매 기반 작업 할당을 통한 LLM 에이전트 추론 능력 향상
요약
본 논문은 LLM 에이전트의 추론 능력 향상을 위해 경매 메커니즘을 도입한 프레임워크 Agora를 제안합니다. 기존 방식들이 단순 매칭에 의존하는 한계를 극복하고, 작업을 전문가 모델 및 도구에 동적으로 할당하여 가장 유능한 솔버에게 라우팅되도록 합니다.
핵심 포인트
- Agora는 인센티브 호환 경매 메커니즘을 도입했습니다.
- 작업을 거래 가능한 항목으로 취급하여 에이전트가 입찰합니다.
- 단순 매칭 대신 가장 유능한 솔버에게 작업을 할당합니다.
- 비용-품질 트레이드오프를 제어할 수 있습니다.
대규모 언어 모델(LLM) 에이전트의 추론 능력을 향상시키기 위해서는 다양한 전문가 모델과 도구들의 효과적인 오케스트레이션이 필요합니다. 하지만 기존 프레임워크들은 일반적으로 작업과 전문가 모델 또는 도구의 기능 간의 거친 수준 매칭에 기반하여 API를 호출하는 경향이 있으며, 기능적으로 유사한 대안들 사이의 성능 변동성이나 비용 효율성과 같은 중요한 요소들을 간과하고 있습니다. 이를 해결하기 위해, 우리는 작업을 전문가 모델 및 도구에 동적으로 할당하기 위한 인센티브 호환(incentive-compatible) 경매 메커니즘을 도입하는 프레임워크인 Agora를 제안합니다. Agora는 추론 단계를 거래 가능한 항목으로 취급함으로써, 에이전트가 입찰할 수 있게 하며, 이로써 중요한 로직이 가장 자신감 있는 솔버(overconfident one)가 아닌 가장 유능한 솔버에게 라우팅되도록 보장합니다. 다섯 가지 벤치마크에 걸친 평가 결과는 Agora가 유사한 후보 풀(candidate pools) 하에서 매칭된 단일 모델, 라우팅, 캐스케이드 베이스라인보다 성능을 개선함을 보여주었으며, 단일 경매 파라미터를 통해 제어 가능한 비용-품질 트레이드오프를 노출합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기