ObjectStream: 스트리밍 비디오 이해를 위한 메모리 앵커로서의 잠재 객체 (Latent Objects)

요약

ObjectStream은 스트리밍 비디오 이해를 위해 잠재 객체(Latent Objects)를 메모리 앵커로 활용하는 training-free 프레임워크입니다. 동결된 Video-LLM에서 객체를 직접 유도하여 메모리 효율성을 높이면서도 객체의 정체성과 상태 변화를 효과적으로 추론합니다.

핵심 포인트

• 외부 탐지기 없이 Video-LLM 표현에서 잠재 객체를 직접 유도
• 객체 이력, 변화, 최근 컨텍스트를 보존하는 메모리 구조 설계
• Qwen2.5-VL-7B 성능을 10.0포인트 향상시키며 메모리 및 TTFT 50% 감소
• 시각적 토큰의 82.5%를 제거하면서도 베이스라인 성능 상회