소스 분산형 멀티모달 에이전트 메모리 평가를 위한 벤치마크 SMMBench

기존의 멀티모달 메모리 추론 (multimodal memory reasoning) 벤치마크는 주로 미리 조립된 컨텍스트 (context) 내에서 시스템을 평가하지만, 에이전트가 독립적으로 생성된 여러 소스에 분산된 증거를 사용할 수 있는지에 대해서는 충분히 평가하지 못하고 있습니다. 우리는 소스 분산형 메모리 구성 (source-distributed memory composition)이 멀티모달 에이전트 메모리에서 중요하지만 아직 충분히 조사되지 않은 병목 현상이라고 주장하며, 특히 관련 증거가 대화, 프로필, 스크린샷, 표, 이미지, 문서와 같은 이질적인 아티팩트 (artifacts)에 파편화되어 있을 때 더욱 그러합니다. 이러한 격차를 해소하기 위해, 우리는 에이전트가 단일하게 큐레이션된 컨텍스트 내에서 추론하는 대신 여러 소스에 흩어진 멀티모달 증거를 검색, 정렬 및 구성할 수 있는지 측정하는 소스 분산형 멀티모달 메모리 벤치마크 (Source-distributed Multimodal Memory Benchmark, SMMBench)를 소개합니다. SMMBench는 네 가지 핵심 역량을 평가합니다: (1) 소스 간 멀티모달 추론 (cross-source multimodal reasoning); (2) 충돌 해결 (conflict resolution); (3) 선호도 추론 (preference reasoning); (4) 메모리 기반 행동 예측 (memory-grounded action prediction). 이 벤치마크는 264개의 소스에 기반한 1877개의 샘플을 포함합니다. 대표적인 메모리 스타일 및 검색 기반 베이스라인 (baselines)에 대한 실험 결과, 현재의 시스템들은 이러한 역량에서 여전히 어려움을 겪고 있음을 보여주며, 이는 소스 분산형 멀티모달 메모리가 멀티모달 에이전트에게 중요하면서도 여전히 과소평가된 과제임을 시사합니다. 우리의 데이터는 https://huggingface.co/datasets/HuacanChai/SMMBench 에서 확인할 수 있습니다.