M$^3$Eval: 인지적 근거를 기반으로 한 비디오 과업을 통한 멀티모달 메모리 평가

멀티모달 모델 (Multi-modal models)이 긴 형식의 비디오 이해 (long-form video understanding)를 향해 발전함에 따라, 메모리 (memory)가 핵심적인 능력으로 부상하고 있습니다. 비디오 데이터셋과 벤치마크 (benchmarks)를 개발하기 위한 상당한 노력에도 불구하고, 기존 연구들은 주로 인지 (perception)와 추론 (reasoning)에 집중되어 있으며, 모델이 무엇을 유지하는지, 정보가 얼마나 충실하게 보존되는지, 그리고 간섭 (interference) 하에서 메모리가 얼마나 견고하게 유지되는지와 같은 메모리를 체계적으로 평가하지는 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 멀티모달 모델의 다양한 메모리 차원을 조사하기 위한 최초의 포괄적인 평가 프레임워크이자 벤치마크인 M$^3$Eval을 소개합니다. 인지 심리학 (cognitive psychology)에 근거하여, 우리의 설계는 메모리의 핵심 측면을 분리하는 정교하게 구성된 과업들을 특징으로 합니다. M$^3$Eval을 활용하여 우리는 대표적인 멀티모달 모델들을 대상으로 광범위한 실험을 수행하였으며, 이를 통해 일관된 약점과 독특한 행동 양식을 밝혀냈습니다. 우리는 모델들이 병렬 비디오 스트림 (parallel video streams)을 처리할 때 분리된 표현 (disentangled representations)을 유지하는 데 어려움을 겪으며, 인간의 메모리에서 관찰되는 것과는 상당히 다른 간섭 패턴을 보이고, 메모리 소스를 시간적 영역 (temporal domain)보다 공간적 영역 (spatial domain)에서 더 신뢰성 있게 근거화하며, 제한적인 상징적 메모리 (symbolic memory)를 보여준다는 것을 발견했습니다. 종합적으로, 우리의 벤치마크는 향후 연구를 위한 가치 있는 자원을 제공하며, 우리의 연구 결과는 메모리가 근본적이지만 아직 충분히 탐구되지 않은 능력임을 강조하는 동시에 멀티모달 모델에서 더 효과적인 메모리 메커니즘을 설계하기 위한 통찰력을 제공합니다. 우리의 코드와 데이터셋은 https://pku-value-lab.github.io/m3eval-homepage 에서 확인할 수 있습니다.