C3M: 장기 지평선 작업을 위한 세션 간 멀티모달 메모리 유지

장기 지평선 작업(Long-horizon tasks)은 제한된, 쿼리 불감(query-blind) 메모리 예산 하에서 세션 간 증거를 보존하고 나중에 복구하는 것을 필요로 합니다. 기존의 압축 방식들은 미세한 시각적 단서들을 버리거나 의미적으로 유사하지만 양립할 수 없는 관측값들을 혼합합니다. 우리는 지속적인 출처 텍스트-이미지 증거 위에 제한된 활성 인덱스(active index)를 유지하는 세션 간 멀티모달 메모리 구성 방식인 C3M을 제시합니다. 관계 인식 업데이트(Relation-aware updates)는 안전한 중복성을 통합하면서도 상보적이고 양립할 수 없는 기록들을 보존합니다. 쿼리 시점에는, 예산 할당된 라우팅(budgeted routing)이 유용한 인덱스 페이지를 선택하고 고정된 리더 예산 하에서 그와 관련된 출처 증거를 확장합니다. 이 메커니즘들이 결합하여, 세션 간 장기 지평선 작업을 위한 작고, 출처 보존적인 멀티모달 메모리 구성을 확립하며, 신뢰할 수 있는 다운스트림 추론에 필요한 시간적 구분과 출처 링크들을 유지합니다. 코드는 https://github.com/HuzhouNLP/C3M에서 이용 가능합니다.