GAMMAF: LLM 다중 에이전트 시스템의 그래프 기반 이상 탐지 벤치마킹을 위한 공통 프레임워크

대규모 언어 모델 (LLM) 의 다중 에이전트 시스템 (MAS) 으로로의 급속한 통합은 협업적 문제 해결 능력을 크게 향상시켰지만, 프롬프트 감염과 에이전트 간 통신 침해와 같은 취약점을 노출시키는 공격 표면을 확대하기도 했습니다. 등장하는 그래프 기반 이상 탐지 방법은 이러한 네트워크를 보호할 유망한 가능성을 보이지만, 현재 해당 분야는 이러한 모델을 훈련하고 그 효능을 평가하기 위한 표준화되고 재현 가능한 환경이 부족합니다. 이 격차를 해소하기 위해 우리는 GAMMAF(LLM 다중 에이전트 시스템용 그래프 기반 이상 모니터링 프레임워크)라는 오픈소스 벤치마킹 플랫폼을 소개합니다. GAMMAF 자체는 새로운 방어 메커니즘이 아니라, 합성 다중 에이전트 상호작용 데이터셋을 생성하고 기존 및 미래의 방어 모델의 성능을 벤치마크하기 위한 종합 평가 아키텍처입니다. 제안된 프레임워크는 두 개의 상호 의존적인 파이프라인을 통해 작동합니다: 다양한 네트워크 토폴로지를 가로지르는 논쟁을 시뮬레이션하여 상호작용을 견고한 속성 그래프로 포착하는 '훈련 데이터 생성' 단계와, 라이브 추론 라운드 동안 플래그가 지정된 적대적 노드를 동적으로 격리함으로써 방어 모델을 능동적으로 평가하는 '방어 시스템 벤치마킹' 단계입니다. MMLU-Pro 및 GSM8K와 같은 여러 지식 작업을 통해 확립된 방어 베이스라인 (XG-Guard 와 BlindGuard) 을 사용한 엄격한 평가를 통해 GAMMAF 의 높은 유용성, 토폴로지 확장성, 실행 효율성을 입증했습니다. 또한, 우리의 실험 결과는 LLM-MAS 에 효과적인 공격 시정 수단을 부여하는 것이 시스템 무결성을 회복할 뿐만 아니라, 적대적 에이전트의 광범위한 토큰 생성을 차단하고 초기 합의를 촉진함으로써 전반적인 운영 비용을 현저히 줄인다는 것을 보여줍니다.