Inside-JEPA: 잠재 세계 모델에서 예측을 관계적 접지(Relational Grounding)로 확장

원문 발행 2026. 10. 22. 21:43원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

Inside-JEPA는 Joint-embedding predictive architectures(JEPAs)의 잠재 상태에 관계 채널을 통합하여 세계 모델의 예측 능력을 향상시킵니다. 이 방법은 역동학 손실(inverse-dynamics loss)만으로도 명시적인 레이블 없이 관계적 접지(Relational Grounding)를 달성함을 보여줍니다. 이를 통해 로봇 에피소드 및 복잡한 행동 예측에서 높은 성능 개선을 입증했습니다.

핵심 포인트

관계 채널을 잠재 상태에 통합한 Inside-JEPA 구조를 제안함.
역동학 손실만으로 관계적 접지(Relational Grounding)가 가능함을 입증함.
Something-Something V2 및 로봇 에피소드에서 성능이 크게 향상됨.
행동 예측 시, 관계 변화를 정확히 디코딩하는 것이 핵심임.

Joint-embedding predictive architectures (JEPAs)는 잠재 공간(latent space)에서 세계 모델을 학습하여 효율적인 계획을 가능하게 하지만, 그 상태를 불투명하게 만듭니다. 우리는 Inside-JEPA를 소개하며, 이는 순서가 지정된 개체 쌍에 대한 관계 채널(relational channels)을 JEPA의 잠재 상태 내부에 배치합니다. 그리고 이 채널들이 헤드(head)를 통해 단독으로 또는 전체 상태의 일부로 읽힐 때, 역동학 손실(inverse-dynamics loss)이 관계 레이블 없이도 이러한 채널들을 접지할 수 있음을 보여줍니다.

Something-Something V2에서 잠재적 예측만으로는 무작위 관계 헤드보다 성능이 좋지 않았습니다. 반면, 채널 변화로부터 행동을 복구하는 역동학 감독(inverse-dynamics supervision)은 주석 처리된 박스가 있는 10개 설정에서 관계 AUROC를 .065-.103 향상시키고, 보류된 태스크가 포함된 RH20T 로봇 에피소드에서는 .081을 향상시켰으며, 상용 탐지 및 추적(off-the-shelf detection and tracking)을 사용하여 5개 관계에 걸쳐 .050-.061을 향상시킵니다.

개체 잠재 상태에 적용된 역 헤드는 행동을 더 정확하게 디코딩하지만, 관계적 접지 개선은 미미합니다. 또한, 순서가 뒤섞인 레이블(shuffled labels), 두 개의 레이블 프리 목적 함수(label-free objectives), 그리고 쌍의 5%에만 적용된 행동 레이블 역시 채널들을 접지하는 데 실패했습니다.

행동이 주어졌을 때, 예측된 관계 변화는 관찰된 미래 관계의 품질(.599 대 .621)에 근접합니다. 단일 단계 관계 목표(one-step relational goals)의 경우, 16개 채널에 대한 지도 학습 읽기(supervised readout)는 43%의 사례에서 올바른 행동을 65개의 상위 5개 안에 순위를 매겼습니다. 이는 예측 전용 잠재 상태에서는 24%, 빈도 사전(frequency prior)에서는 17%에 불과한 수치입니다.

AI 자동 생성 콘텐츠

원문 바로가기

Inside-JEPA: 잠재 세계 모델에서 예측을 관계적 접지(Relational Grounding)로 확장

요약

핵심 포인트

댓글