다중 에이전트 시스템의 잠재적 통신 최적화 프레임워크 DiffMAS

요약

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템은 복잡한 추론 작업에서 강력하지만, 기존 연구는 상호작용을 고정된 인터페이스로 취급합니다. 본 논문은 이러한 한계를 극복하기 위해 'DiffMAS'라는 새로운 훈련 프레임워크를 제안합니다. DiffMAS는 에이전트 간의 통신을 텍스트 기반 프로토콜 대신 잠재적 표현(latent representations)으로 처리하고, 이 통신 과정을 다중 에이전트 추론 과정과 함께 공동 최적화(jointly optimize)하는 것이 핵심입니다. 이를 통해 에이전트는 정보 인코딩 및 해석 방

핵심 포인트

• DiffMAS는 잠재적 통신을 학습 가능한 구성 요소로 간주하여, 다중 에이전트 시스템의 엔드투엔드 최적화를 목표로 합니다.
• 텍스트 기반 프로토콜 대신 내부 표현(예: key-value 캐시)을 활용한 잠재적 통신 방식을 도입했습니다.
• DiffMAS는 수학 추론 (AIME24에서 26.7% 향상), 과학 QA, 코드 생성 등 다양한 벤치마크에서 성능 개선을 입증했습니다.