MemEye: 멀티모달 에이전트 메모리를 위한 시각 중심 평가 프레임워크

요약

본 논문은 에이전트의 장기 멀티모달 메모리 평가를 위한 새로운 프레임워크인 MemEye를 제안합니다. 기존 방식들은 시각적 증거 보존 여부를 충분히 테스트하지 못하여, 텍스트만으로도 정답을 추론할 수 있는 사례가 많았습니다. MemEye는 결정적인 시각적 증거의 입도(픽셀 수준)와 검색된 증거 사용 방식을 측정하며, 이를 통해 현재 아키텍처들이 시간 변화에 따른 세밀한 시각적 세부 사항 보존 및 추론에 어려움을 겪고 있음을 보여줍니다.

핵심 포인트

• MemEye는 에이전트의 장기 멀티모달 메모리 평가를 위한 새로운 프레임워크이다.
• 평가는 결정적인 시각적 증거의 입도(granularity)와 검색된 증거 사용 방식을 측정한다.
• 새로운 벤치마크는 답변 가능성, 지름길 저항성, 시각적 필요성 등을 포함하는 어블레이션 기반 검증 게이트를 도입했다.
• 연구 결과, 현재 아키텍처들은 세밀한 시각적 세부 사항 보존 및 시간 변화에 따른 추론에 어려움이 있다.