요약

JEPA(Joint-Embedding Predictive Architecture)를 활용하여 Super Mario Bros 게임의 월드 모델을 직접 구현하고 학습시킨 실험 사례입니다. 모델이 미래의 잠재 상태를 예측하는 데는 성공했으나, 복잡한 장애물을 극복하며 게임을 완수하는 데는 한계가 있었음을 분석합니다.

핵심 포인트

• JEPA 아키텍처를 사용하여 픽셀과 행동으로부터 월드 역학 학습 시도
• 비전 및 액션 인코더를 통해 프레임과 컨트롤러 입력을 잠재 변수로 압축
• 트랜스포머 기반의 인과적 예측기로 미래 잠재 상태 예측 수행
• 미래 예측 성능은 우수했으나 실제 게임 플레이의 일반화에는 한계 노출