명시적 및 암시적 증거를 통한 개인적 시각 메모리 (Personal Visual Memory from Explicit and Implicit

장기 메모리 (Long-term memory)는 개인화된 AI 에이전트 (AI agents)에게 점점 더 중요해지고 있지만, 기존의 벤치마크 (benchmarks)와 방법론들은 여전히 주로 텍스트 중심적입니다. 이미지가 포함되는 경우라 하더라도, 나중에 질문할 때 필요한 사용자 특정 정보는 일반적으로 텍스트만으로도 복구가 가능하며, 대부분의 메모리 시스템 (memory systems)은 이미지 턴 (image turns)을 일반적인 캡션 (captions)으로 축소합니다. 그러나 이미지는 텍스트가 거의 언급하지 않는 개인 정보를 담고 있는 경우가 많습니다. 여기에는 반복되는 사용자 관련 엔티티 (entities)와 같은 명시적 증거 (explicit evidence)와, 시각적 또는 멀티모달 (multimodal) 단서로부터 추론된 잠재적 사용자 사실과 같은 암시적 증거 (implicit evidence)가 모두 포함됩니다. 우리는 이 두 가지 형태의 증거를 모두 목표로 하는 개인적 시각 메모리 (personal visual memory)를 위한 벤치마크를 도입하며, 텍스트 메모리 백엔드 (text-memory backend)를 구조화된 개인 시각 메모리 모듈 (structured personal visual memory module)로 증강하는 하이브리드 시각-텍스트 아키텍처 (hybrid visual--text architecture)인 VisualMem을 제안합니다. 이미지를 캡션으로 축소하는 대신, VisualMem은 대화 문맥 (conversational context)을 사용하여 정체성 (identity), 소유권 (ownership), 그리고 지속적인 사용자 사실 (durable user facts)을 해결합니다. 실험 결과, VisualMem은 표준 텍스트 메모리 벤치마크 (text-memory benchmarks)에서 경쟁력을 유지하는 동시에, 우리의 벤치마크에서 기존 메모리 시스템들을 실질적으로 능가함을 보여주었습니다. 이는 개인적 시각 메모리가 개인화된 AI 에이전트의 장기 메모리 (long-term memory)를 구성하는 별개이며 중요한 구성 요소임을 나타냅니다.