다중 뷰 스트리밍 비디오로부터의 온라인 신규 뷰 합성(novel view synthesis)은 근본적인 상충 관계에 직면합니다. 즉, 엄격한 실시간 제약 조건 하에서 일시적으로 가려진 영역을 재구성하기 위해 지속적이고 장기적인 메모리를 유지하는 것입니다. Test-Time Training (TTT)은 강력한 메모리 메커니즘을 제공하지만, 표준 모델들은 동적 장면의 변화하는 움직임에 적응하기 위해 매 프레임마다 기울기 기반(gradient-based) 메모리 업데이트를 요구합니다. 무거운 메모리 업데이트의 계산 비용은 실시간 적용을 불가능하게 만들고 장기적인 컨텍스트에서 불안정성을 초래할 수 있습니다. 메모리 업데이트가 메모리 적용보다 더 많은 자원을 소모하며 비디오 콘텐츠는 상당 부분 중복적이라는 점을 고려하여, 우리는 이 두 프로세스의 주기를 분리할 것을 제안합니다. 우리의 접근 방식은 주기적으로 메모리를 업데이트하는 동시에, 이전 메모리 상태와 현재 프레임 간의 변형을 관리하기 위해 크로스 뷰 어텐션(cross-view attention)을 사용하여 매 프레임 단위로 메모리를 적용합니다. 역사적 컨텍스트를 고정하기 위해, 우리는 두 가지 중요한 메커니즘을 도입합니다: 장면의 지속적인 내재화(internalization)를 강제하는 보조 메모리 손실(auxiliary Memory Loss), 그리고 치명적인 표류(catastrophic drift)에 대해 활성 가중치(active weights)를 정규화하는 메모리 캐싱 전략(Memory Caching strategy)입니다. 우리의 방법은 동적 인간 움직임이 있는 장면과 미세 규모의 온라인 기억화에서도 실시간의 최첨단 성능을 입증합니다.