타임라인을 넘어: 근거 기반 개체 전기(Biography)를 활용한 장기 비디오 메모리 증강

장기 비디오에 대한 질문에 답하려면 종종 몇 시간 또는 며칠에 걸쳐 동일한 객체가 관련된 이벤트를 연결해야 합니다. 연대기적 설명과 텍스트에서 파생된 개체들은 물리적 정체성을 해결하지 못할 수 있습니다. 즉, 서로 다른 객체가 같은 설명을 공유할 수 있는 반면, 동일한 객체에 대한 관찰은 이벤트 간에 단절되어 있을 수 있습니다. 따라서 관련 이벤트를 검색하는 것이 질문이 다루는 특정 개체의 '전기(biography)'를 반드시 복구하지는 못합니다. 이를 해결하기 위해, 우리는 Grounded Entity Biographies (GEB)라는 장기 비디오 메모리 프레임워크를 소개합니다. GEB는 클립 전반에 걸쳐 동일한 물리적 인스턴스의 시각적으로 근거된 관찰들을 검색 가능한 전기(biography)로 그룹화하며 각 순간의 맥락을 보존합니다. 질문 답변 과정에서, 이 전기는 에피소드 증거와 함께 검색되어 모델이 메모리 구축 중에 확립된 정체성 링크를 사용하여 개체를 이벤트 전반에 걸쳐 추적할 수 있도록 합니다. 하루 단위 및 주 단위 녹화 영상을 포함한 네 가지 벤치마크에 걸친 평가 결과는 객관식 및 주관식 질문 답변 모두에서 기존의 메모리 프레임워크 대비 개선을 입증했습니다. EgoLifeQA에서는 GEB가 72.0%의 정확도를 달성하여, 발표된 최고 기록보다 4.4 퍼센트 포인트 높은 수치를 기록했습니다. 제거 실험(Ablations) 결과는 근거 기반 정체성 연관성과 전기 읽기가 모두 성능 향상에 기여하며, 이는 추가적인 설명만으로는 완전히 복구되지 않는다는 것을 보여주었습니다.