ObjectStream: 스트리밍 비디오 이해를 위한 메모리 앵커로서의 잠재 객체 (Latent Objects)
요약
ObjectStream은 스트리밍 비디오 이해를 위해 잠재 객체(Latent Objects)를 메모리 앵커로 활용하는 training-free 프레임워크입니다. 동결된 Video-LLM에서 객체를 직접 유도하여 메모리 효율성을 높이면서도 객체의 정체성과 상태 변화를 효과적으로 추론합니다.
핵심 포인트
- 외부 탐지기 없이 Video-LLM 표현에서 잠재 객체를 직접 유도
- 객체 이력, 변화, 최근 컨텍스트를 보존하는 메모리 구조 설계
- Qwen2.5-VL-7B 성능을 10.0포인트 향상시키며 메모리 및 TTFT 50% 감소
- 시각적 토큰의 82.5%를 제거하면서도 베이스라인 성능 상회
스트리밍 비디오 이해 (Streaming video understanding)는 모델이 향후 질문이 무엇인지 알기 전에 유용한 시각적 증거를 지속적으로 보유할 것을 요구합니다. 기존 방식들은 주로 토큰 중요도, 시간적 중복성(temporal redundancy), 또는 세그먼트 수준의 관련성에 따라 증가하는 시각적 컨텍스트를 관리하지만, 시간이 지남에 따라 지속되고 진화하는 객체를 중심으로 증거를 구성하는 경우는 드뭅니다. 따라서 본 논문에서는 잠재 객체 (latent objects)를 스트리밍 비디오 이해를 위한 메모리 앵커 (memory anchors)로 취급하는 훈련이 필요 없는 (training-free) 프레임워크인 ObjectStream을 소개합니다. ObjectStream은 외부 객체 탐지기 (object detectors)나 세그먼테이션 모델 (segmentation models)을 필요로 하지 않고, 동결된 (frozen) Video-LLM 표현으로부터 공간적으로 일관된 잠재 객체를 직접 유도하고, 이를 프레임 간에 연결하여 지속적인 앵커로 만들며, 제한된 메모리 예산 내에서 그 이력을 유지합니다. 이러한 앵커를 기반으로 ObjectStream은 세 가지 상호 보완적인 형태의 증거, 즉 지속적인 객체 이력 (persistent object histories), 일시적인 객체 변화 (transient object changes), 그리고 최근의 시각적 컨텍스트 (recent visual context)를 보존합니다. 이러한 설계는 기존의 비디오 거대 언어 모델 (Video Large Language Models, Video-LLMs)이 기본 모델을 변경하지 않고도 객체의 정체성, 상호작용 및 상태 변화에 대해 추론할 수 있게 합니다. 온라인 스트리밍 및 오프라인 긴 비디오 벤치마크에 대한 광범위한 실험은 효과성과 효율성을 모두 입증합니다. 온라인 스트리밍 평가에서 ObjectStream은 OVO-Bench Real-Time Visual Perception에서 Qwen2.5-VL-7B의 성능을 10.0포인트 향상시키는 동시에, 피크 GPU 메모리 및 TTFT (Time To First Token)를 약 50% 감소시킵니다. 오프라인 긴 비디오 벤치마크에서는 시각적 토큰의 82.5%를 버리면서도 전체 토큰 베이스라인 (full-token baseline)을 능가합니다. 이러한 결과는 잠재 객체가 압축된 스트리밍 비디오 메모리를 위한 실용적이고 효과적인 조직 원리임을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기