MOC: LLM 기반 멀티 에이전트 시스템에서의 다차원 통신 (Multi-Order Communication)

대규모 언어 모델 (LLM) 기반 멀티 에이전트 시스템 (Multi-Agent Systems)의 놀라운 발전에도 불구하고, 대부분의 연구는 조정 토폴로지 (coordination topology)를 최적화하는 데 집중되어 있으며, 그만큼 중요한 문제인 '에이전트 간에 메시지를 어떻게 효과적으로 전달하고 최적화할 것인가?'에 대해서는 충분히 탐구되지 않았습니다. 현재의 통신 방식은 일반적으로 1차 이웃 (first-order neighbor) 응답을 직접 연결 (concatenation) 하는 방식에 의존하며, 이는 제한된 증거 수용 영역 (evidence receptive field)을 유발하고 멀티 홉 (multi-hop) 경로를 거치면서 중요한 통찰력이 희석되는 결과를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 멀티 홉 의존성 (multi-hop dependencies)을 포착하도록 에이전트 간 통신을 재구성하고, 효율성을 보장하기 위해 구조적 메시지 통합 (structural message consolidation) 전략을 포함하는 다차원 통신 (Multi-Order Communication, MOC) 방식을 제안합니다. 구체적으로, 우리는 구조화된 다차원 증거 스트림 (structured multi-order evidence stream)을 구축하도록 통신 메커니즘을 공식화하며, 이어서 토큰 제약 조건 내에서 의미론적 충실도 (semantic fidelity)를 최적화하기 위한 의미론적-위상적 병합 (Semantic-Topological Merging) 알고리즘을 설계합니다. 6개의 다양한 데이터셋과 다양한 파라미터 규모의 LLM 백본 (backbones)을 통한 광범위한 실험 결과, MOC가 작업 성능을 일관되게 향상시키고 통신 비용을 줄인다는 것을 입증했습니다. 코드는 https://github.com/yao-guan/MOC 에서 확인할 수 있습니다.