DVD-JEPA: 오픈 소스 기반의 완전 재현 가능한 JEPA 월드 모델

요약

DVD-JEPA는 픽셀 예측 대신 미래의 표현(representation)을 예측하는 JEPA 아키텍처를 구현한 오픈 소스 월드 모델 연구입니다. 단순한 DVD 로고 움직임을 통해 세계 모델의 학습, 비디오 렌더링, 이상 탐지 능력을 성공적으로 증명했습니다.

핵심 포인트

• 픽셀 단위 예측 대신 잠재 공간의 표현을 예측하여 효율성 극대화
• 학습된 잠재 공간을 통해 로고의 정확한 좌표 복구 가능
• 디코더 결합 시 미래 프레임 비디오를 렌더링하는 '꿈 꾸는' 능력 확인
• 예측 오차를 활용한 높은 정확도의 이상 탐지(Anomaly Detection) 성능
• JavaScript로 구현되어 브라우저 클라이언트 측에서 실행 가능