Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
VideoLVR은 MLLM의 비디오 이해 능력을 향상시키기 위해 제안된 방법론입니다. 이는 추론 과정에서 발생하는 시각적 망각을 방지하고, 관련 비디오 순간의 잠재적 시각 증거를 제공합니다. 이를 통해 컨텍스트 확장을 최소화하면서도 정확한 비디오 분석이 가능해집니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사고의 흐름(Chain-of-thought) 추론은 멀티모달 대규모 언어 모델(MLLMs)에서 비디오 이해 능력을 크게 발전시켰습니다. 하지만, 언어 기반 추론 과정은 모델이 관련 시각 증거를 다시 검토할 수 있는 신뢰할 수 있는 메커니즘을 제공하지 못하여, 시각적 망각(visual forgetting)을 초래하고 비디오 콘텐츠에 대한 추론 능력을 저해합니다. 기존의 접근 방식들은 두 가지 주요 방식으로 추론 중에도 시각적 근거를 유지합니다: 첫째는 텍스트 좌표를 사용하여 증거를 참조하는데, 이는 시각적 내용 자체가 아닌 상징적인 위치를 지정하며, 둘째는 잘라낸 영역이나 프레임을 멀티모달 컨텍스트에 다시 삽입하여 시각적 세부 사항을 보존하지만 그 대가로 상당한 컨텍스트 확장을 초래합니다. 이러한 한계를 해결하기 위해, 우리는 VideoLVR을 도입했습니다. 이는 관련 비디오 순간의 국소 영역으로부터 잠재적 시각 증거(latent visual evidence)를 구성함으로써, 중간 추론 단계에 시각적 지원을 제공합니다. 잠재적 시각 증거 생성을 감독하기 위해, 우리는 시각 토큰 예측 목적 함수(visual token prediction objective)를 도입했습니다. 이는 시각 토큰 재구성을 입력 비디오에서 파생된 어휘집(vocabulary)에 대한 예측으로 공식화함으로써, 시각 증거 재구성 및 텍스트 생성을 동일한 토큰 예측 프레임워크 내에서 통합합니다. 이 공유 예측 프레임워크는 MLLMs가 다양한 순간의 증거를 통합하는 동시에, 교차된 텍스트 토큰과 잠재적 시각 상태에 대해 추론할 수 있게 합니다. 우리는 또한 샘플링된 시각 토큰을 텍스트 토큰과 함께 행동(actions)으로 취급하고 최종 답변 보상(final-answer rewards)을 사용하여 정책을 공동 최적화함으로써 VideoLVR을 강화학습(RL)까지 확장했습니다. 추론 과정에서 작업 관련 시각 정보를 효율적으로 재검토함으로써, VideoLVR은 멀티모달 컨텍스트를 크게 확장하지 않으면서 비디오 이해도를 향상시킵니다. 여러 비디오 벤치마크에 대한 실험을 통해 그 효과가 입증되었으며, 특히 미세한 시각적 증거가 필요한 작업에서 뛰어난 성능을 보였습니다.