Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
비디오 이상 탐지를 위해 운동학적 정보와 의미론적 정보를 결합한 월드 모델 파이프라인인 PULS를 제안합니다. 잠재적 명확성 가설을 통해 예측된 미래 표현이 현재 관찰보다 의미론적으로 더 잘 분리됨을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기연속적인 비디오 이상 탐지 (Video Anomaly Detection) 분야는 시공간적 특징을 스칼라 점수로 붕괴시키는 반응형 다중 인스턴스 학습 (Multiple Instance Learning, MIL)이 주도하고 있습니다. 우리는 두 개의 모듈, 즉 490M 파라미터 규모의 KSD Bridge (Kinematic-to-Semantic Distillation, 운동학-의미론적 증류)와 16.8M 파라미터 규모의 Anticipatory State Predictor (ASP, 예측 상태 예측기)로 구성된 연속적 의미론적 월드 모델 (World-Model) 파이프라인인 PULS (Predictive Unified Latent Space)를 소개합니다. KSD Bridge는 V-JEPA 2의 물리적 텐서 (Physical Tensors)를 UCF-Crime의 하위 집합으로 학습된 2048차원 Qwen3-VL-Embedding-2B 텍스트 정렬 초구체 (Text-aligned Hypersphere)로 매핑합니다. 이러한 변환만으로도 MIL이나 계층적 융합 (Hierarchical Fusion) 없이 UCF-Crime에서 0.8994, 분포 외 데이터인 (Out-of-distribution) XD-Violence에서 0.8162의 청크 수준 AUROC를 달성했습니다. 우리는 잠재적 명확성 가설 (Latent Clarity Hypothesis)을 도입하고 검증합니다. JEPA의 시간적 예측기 (Temporal Predictor)가 운동학 (Kinematics)은 보존하면서 우연적 픽셀 노이즈 (Aleatoric Pixel Noise)를 버리기 때문에, 예측된 미래 표현 (Future Representations)은 관찰된 현재보다 의미론적으로 더 잘 분리 가능하다는 가설입니다. ASP는 이러한 예측된 미래 잠재 변수 (Future Latents)를 선명하게 하여, 44.5%의 평균 14-way 제로샷 VQA 정확도를 달성했습니다 (관찰 베이스라인 대비 +9.6 pp 초과). ASP를 관찰 텐서 (Observation Tensors)에 적용하면 정확도가 7.3% (무작위 확률)로 급락하며, 이는 예측 (Anticipation)과 관찰 (Observation)이 서로 다른 하위 매니폴드 (Sub-manifolds)를 점유하고 있음을 증명합니다. L1-surprise 게이트를 갖춘 Triple-Track Lead-Time 프로토콜은 T-0.5s에서 피크 +8.9 pp의 예측 우위를 나타내며 (p < 0.001, N = 1,000 permutation), 물리적 예측을 정적인 장면 사전 정보 (Static Scene Priors)와 분리합니다. XD-Violence로의 제로샷 전이 (Zero-shot Transfer)는 뉴턴 역학 불변 (Newtonian-invariant) 운동학적 표현이 분포 외 데이터에서도 일반화됨을 확인시켜 줍니다.