MMoA: 기억 기반 혼합 에이전트(Mixture-of-Agent)를 위한 순환 구조의 AI 에이전트 프레임워크
요약
MMoA는 기존 Mixture-of-Agents(MoA)의 정적 라우팅 한계를 극복하기 위해 LSTM 기반의 순환 구조를 도입한 새로운 에이전트 프레임워크입니다. 이 시스템은 과거의 라우팅 결정과 현재 입력을 모두 고려하여 에이전트의 기여도를 적응적으로 조절합니다. 실험 결과, MMoA는 기존 MoA와 대등한 성능을 유지하면서도 필요한 에이전트만 동적으로 활성화하여 계산 효율성을 높였습니다.
핵심 포인트
- LSTM 기반 게이팅 메커니즘을 통해 시간적 및 문맥적 의존성을 포착하는 순환 라우터 도입
- 정적 라우터 대신 현재 입력과 과거 결정을 모두 반영하는 적응형 에이전트 선택 방식 채택
- AlpacaEval 2.0, MT-Bench 등 주요 벤치마크에서 기존 MoA 대비 높은 효율성 입증
- 적은 수의 에이전트 활성화를 통해 계산 오버헤드를 줄이면서도 높은 정확도 유지
혼합 에이전트 (Mixture-of-Agents, MoA) 프레임워크는 여러 에이전트의 출력을 집계함으로써 대규모 언어 모델 (Large Language Model, LLM)의 성능을 향상시키는 유망한 가능성을 보여주었습니다. 그러나 기존의 MoA 시스템은 집계 계층(aggregation layers) 전반에 걸친 시간적 및 문맥적 의존성을 완전히 포착하지 못하는 정적 라우터 (static routers)에 의존하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 우리는 에이전트 선택 과정에 LSTM 기반 게이팅 (gating)을 통합한 순환 MoA 아키텍처인 MMoA를 제안합니다. 순환 라우터 (recurrence router)는 현재 입력과 과거의 라우팅 결정 모두를 기반으로 에이전트의 기여도를 적응적으로 조절하여, 더욱 문맥을 인식하는 집계를 가능하게 합니다. 우리는 AlpacaEval 2.0, MT-Bench, Arena-Hard를 포함한 표준 지시 이행 (instruction-following) 벤치마크에서 MMoA를 평가합니다. 결과에 따르면 MMoA는 더 적은 수의 에이전트를 동적으로 활성화함으로써 계산 오버헤드 (computational overhead)를 줄이는 동시에 기존 MoA와 대등한 정확도를 달성합니다. 예를 들어, AlpacaEval 2.0에서 MMoA는 MoA의 59.8%와 비교하여 58.0%의 승률을 기록하면서도 실행 시간 효율성을 최대 4.6%까지 향상시켰습니다. 이러한 결과는 MMoA가 적응형 다중 에이전트 LLM 시스템을 위한 확장 가능하고 효율적인 접근 방식을 제공함을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기