소스 분산형 멀티모달 에이전트 메모리 평가를 위한 벤치마크 SMMBench

요약

기존 멀티모달 메모리 벤치마크가 단일 컨텍스트 내 추론에 집중하는 한계를 극복하기 위해, 여러 소스에 분산된 정보를 활용하는 능력을 평가하는 SMMBench를 제안합니다. SMMBench는 대화, 이미지, 문서 등 이질적인 아티팩트에 파편화된 증거를 검색하고 구성하는 능력을 측정하며, 현재의 멀티모달 시스템들이 소스 분산형 메모리 활용에 여전히 어려움을 겪고 있음을 보여줍니다.

핵심 포인트

• 소스 분산형 멀티모달 메모리 구성(source-distributed memory composition)의 중요성 강조
• SMMBench의 4가지 핵심 평가 역량: 소스 간 멀티모달 추론, 충돌 해결, 선호도 추론, 메모리 기반 행동 예측
• 264개의 소스와 1,877개의 샘플로 구성된 대규모 벤치마크 데이터셋 제공
• 현재 멀티모달 에이전트 시스템들이 분산된 멀티모달 증거를 처리하는 데 한계가 있음을 입증