예측 목적 함수는 외생적 제어 관련 특징을 버린다: 통제된 메커니즘 연구

결합 임베딩 예측 (Joint-embedding predictive, JEPA 스타일) 목적 함수는 미래의 잠재 변수 (latents)를 예측함으로써 표현 (representations)을 학습합니다. 이 과정에서 이러한 목적 함수들은, 해당 특징들이 아주 쉽게 인코딩 (encodable)될 수 있음에도 불구하고, 외생적 (exogenous, 에이전트에 의해 제어할 수 없는)이면서도 제어 관련성 (control-relevant)이 있는 특징들을 버릴 수 있습니다. 이는 목적 함수가 제어 관련성 (control-relevance)보다는 시간적 예측 가능성 (temporal predictability)을 최적화하기 때문에 발생합니다. 우리는 특징의 제어 가능성 (controllability)과 관련성 (relevance)을 독립적으로 변화시키는 통제된 2x2 실험 설계를 통해 이러한 실패 모드 (failure mode)를 분리해냈으며, 특징의 시간적 예측 가능성을 제어 관련성으로부터 분리하는 예측 가능성 노브 (predictability knob)를 사용했습니다. 재구성 (reconstruction), JEPA, 행동 조건부 JEPA (action-conditioned JEPA), 제어 가능성 기반 JEPA (controllability-based JEPA), 무작위 정책 하의 역 역학 (inverse dynamics under a random policy), 그리고 보상 기반 JEPA (reward-grounded JEPA) 등 6가지 목적 함수를 비교한 결과, 평가된 모든 보상 없는 (reward-free) 예측 목적 함수들은 외생적 제어 관련 특징을 무작위 수준 (chance accuracy) 근처로 남겨두는 반면, 보상 기반 변형 모델은 이를 선택적으로 유지함을 관찰했습니다. 이에 대한 해결책은 레이블 효율적 (label-efficient)이며 견고 (robust)합니다. 단 2%의 보상 레이블이 지정된 전이 (transitions)만으로도 해당 특징을 복구할 수 있으며, 이 효과는 서로 다른 형태를 가진 두 환경에서 유지되고, 16에서 1024에 이르는 잠재 차원 (latent dimensions) 전반에 걸쳐 지속됩니다. 학습된 잠재 기하학 (latent geometry)을 유사 시뮬레이션 이론 (bisimulation theory)의 예측과 비교했을 때, JEPA 잠재 변수는 지도 학습 참조 (supervised reference)가 달성하는 클래스 분리 (class separation)의 아주 작은 부분만을 실현합니다.