MemEye: 멀티모달 에이전트 메모리를 위한 시각 중심 평가 프레임워크

에이전트의 장기 메모리 (Long-term agent memory)는 점점 더 멀티모달 (multimodal)화되고 있지만, 기존의 평가 방식들은 에이전트가 나중의 추론 (reasoning)에 필요한 시각적 증거 (visual evidence)를 보존하는지 여부를 거의 테스트하지 않습니다. 이전 연구들에서는 많은 시각적 근거 기반 질문 (visually grounded questions)들이 캡션 (captions)이나 텍스트 흔적 (textual traces)만으로도 답변이 가능하여, 세밀한 시각적 증거를 보존하지 않고도 정답을 추론할 수 있었습니다. 한편, 변화하는 시각적 상태 (visual states)에 대한 추론을 요구하는 더 어려운 사례들은 거의 존재하지 않습니다. 따라서, 우리는 두 가지 차원에서 메모리 능력을 평가하는 프레임워크인 MemEye를 소개합니다. 하나는 결정적인 시각적 증거의 입도 (granularity)를 측정하며 (장면 수준에서 픽셀 수준의 증거까지), 다른 하나는 검색된 증거가 어떻게 사용되어야 하는지를 측정합니다 (단일 증거에서 진화적 합성까지). 이 프레임워크 하에서, 우리는 8가지 생활 시나리오 태스크 (life-scenario tasks)에 걸쳐 새로운 벤치마크 (benchmark)를 구축하였으며, 답변 가능성 (answerability), 지름길 저항성 (shortcut resistance), 시각적 필요성 (visual necessity), 그리고 추론 구조 (reasoning structure)를 평가하기 위한 어블레이션 기반 검증 게이트 (ablation-driven validation gates)를 포함했습니다. 4개의 VLM 백본 (backbones)에 걸쳐 13가지 메모리 방법을 평가함으로써, 우리는 현재의 아키텍처 (architectures)가 여전히 세밀한 시각적 세부 사항을 보존하고 시간에 따른 상태 변화에 대해 추론하는 데 어려움을 겪고 있음을 보여줍니다. 우리의 연구 결과는 장기 멀티모달 메모리 (long-term multimodal memory)가 증거 라우팅 (evidence routing), 시간적 추적 (temporal tracking), 그리고 세부 사항 추출 (detail extraction)에 달려 있음을 보여줍니다.