Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
멀티 에이전트 시스템(MAS)이 단일 에이전트 시스템(SAS)보다 우월하다는 통념에 의문을 제기하는 연구입니다. 실험 결과, 자동 생성된 MAS는 비용 대비 성능이 CoT-SC보다 낮으며, 현재의 자동 설계 방식이 불필요한 복잡성만 초래함을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지배적인 통념은 컨텍스트 보호(context protection), 병렬 처리(parallel processing), 분산 의사결정(distributed decision-making)과 같은 장점을 근거로 멀티 에이전트 시스템(Multi-Agent Systems, MAS)이 단일 에이전트 시스템(Single-Agent Systems, SAS)보다 우월하다고 가정합니다. 그러나 이러한 주장에 대한 실증적 근거는 주로 이러한 장점들을 적절히 평가하지 못하는, 고립된 추론 작업(isolated reasoning tasks)을 우선시하는 벤치마크를 사용하여 SAS 베이스라인과 비교하는 것에 의존하고 있습니다. 수동으로 설계된 대응물보다 향상된 일반화 성능을 목표로 설계된 자동 생성 MAS에 초점을 맞추어, 우리는 SAS, 특히 자기 일관성을 결합한 생각의 사슬(Chain-of-Thought with Self-Consistency, CoT-SC)을 대상으로 엄격하고 체계적인 평가를 수행합니다. 전통적인 추론 데이터셋과 상호작용적인 다단계 워크플로우(예: BrowseComp-Plus)를 포함하는 작업 전반에 걸쳐, 우리는 자동 생성된 MAS가 최대 10배 더 많은 비용이 발생함에도 불구하고 CoT-SC보다 지속적으로 낮은 성능을 보임을 입증합니다. 이러한 실패를 작업 구조 자체의 한계와 분리하기 위해, 우리는 명시적인 작업 분해(task decomposition), 컨텍스트 분리(context separation) 및 병렬화 잠재력(parallelization potential)을 특징으로 하는 MAS에 맞춤화된 진단용 합성 데이터셋을 도입합니다. 우리는 전문가가 설계한 MAS가 이 데이터셋에서 원시 성능(raw performance)과 비용 효율성(cost-efficiency) 모두에서 자동 생성된 아키텍처를 지속적으로 능가함을 보여주며, 이는 기존의 평가 프레임워크가 증가된 계산 비용의 한계 효용(marginal utility)을 고려하지 못함으로써 복잡한 MAS의 결정적인 아키텍처 격차와 비효율성을 은폐하고 있음을 입증합니다. 결정적으로, 생성된 MAS 아키텍처를 체계적으로 해체해 본 결과, 현재의 자동 설계 패러다임은 기능적 유용성으로 이어지지 않는 피상적인 복잡성을 우선시하는 아키텍처 비대화(architectural bloat)를 생성하며, 이는 멀티 에이전트 원칙과의 근본적인 불일치를 드러냅니다.