Echo-Memory: 행동 기반 월드 모델(Action World Models)에서의 메모리에 관한 통제된 연구

우리는 행동 조건부 월드 모델(action-conditioned world models)에서의 메모리 메커니즘에 대한 통제된 연구인 \textbf{Echo-Memory}를 제시합니다. 이러한 모델들은 첫 번째 프레임, 텍스트 프롬프트(text prompt), 그리고 카메라 행동 시퀀스(camera-action sequence)로부터 다중 세그먼트 비디오를 생성하지만, 이들의 핵심적인 실패 원인은 국소적 이미지 합성(local image synthesis)보다는 메모리(memory) 문제인 경우가 많습니다. 즉, 카메라가 장면을 벗어났다가 다시 돌아왔을 때, 장면이나 주요 객체(salient object)가 소리 없이 변할 수 있습니다. 기존의 메모리 설계들은 성능 향상 요인이 백본(backbone), 학습(training), 검색(retrieval), 평가(evaluation) 방식과 뒤섞여 있어 서로 비교하기가 어렵습니다. Echo-Memory는 행동-비디오 인터페이스(action-to-video interface)를 고정하고, 생성기(generator)가 과거 이력을 저장하고 읽는 방식만을 변화시킵니다. 공유된 비디오 확산 백본(video diffusion backbone), 옵티마이저(optimizer), 카메라 행동 표현(camera-action representation), 샘플러(sampler), 그리고 평가 파이프라인(evaluation pipeline) 하에서, 우리는 원시 컨텍스트(raw context), 압축 기반 메모리(compression-based memory), 다양한 읽기 경로를 가진 공간적 요약(spatial summaries), 그리고 상태 공간 재귀(state-space recurrence)를 비교합니다. 이 일치된 매트릭스는 서로 혼동되었던 네 가지 축인 \emph{용량(capacity)}, \emph{압축(compression)}, \emph{읽기(read-out)}, 그리고 \emph{재귀(recurrence)}를 분리합니다. 우리는 또한 세 가지 분기 프로토콜을 통해 메모리를 평가합니다: 재생 품질(replay quality), 도메인 내 루프 재방문(in-domain loop revisit), 그리고 오픈 도메인 귀환 탐사(open-domain return probes). 이 분기들은 일관된 결과를 보이지 않으며, 이는 재생 충실도(replay fidelity)가 세계를 기억하는 데 충분한 대리 지표(proxy)가 아님을 보여줍니다. 이에 따라 세 가지 발견이 도출되었습니다. 첫째, 원시 컨텍스트(raw context)는 강력한 용량 베이스라인(capacity baseline)이며, 재생 지표를 개선하는 것보다 오픈 도메인 귀환(open-domain return)을 훨씬 더 많이 개선합니다. 둘째, 압축성(compactness)은 용량(capacity)을 대체할 수 있는 공짜 수단이 아닙니다. 공격적인 공간 및 하이브리드 압축 메모리는 귀환에 필요한 핵심 증거를 손실합니다. 마지막으로, 블록 단위 상태 공간 재귀(block-wise state-space recurrence)는 우리의 매트릭스에서 가장 강력한 오픈 도메인 귀환 메커니즘이며, 이는 암시적 메모리(implicit memory)의 구조가 메모리 사용 여부만큼이나 중요하다는 것을 보여줍니다. 이러한 결과는 고립된 재생 지표를 넘어 행동 월드 모델에서의 메모리를 연구하기 위한 간결한 프로토콜을 제공합니다.