JEPAs에서의 등방성(Isotropy)을 넘어: Hamiltonian 기하학 및 Symplectic 예측

요약

본 논문은 기존 JEPA(Joint-Embedding Predictive Architecture)가 사용하는 등방성 가우시안 정규화가 구조화된 다운스트림 기하학을 반영하지 못하는 한계를 지적합니다. 이를 해결하기 위해 각 뷰를 위상 공간 상태로 인코딩하고 Hamiltonian leapfrog 맵을 통해 뷰 간 전이를 예측하는 HamJEPA를 제안합니다. 실험 결과, HamJEPA는 CIFAR-100 및 ImageNet-100 데이터셋에서 기존 SIGReg 대비 kNN 및 선형 프로브 성능을 크게 향상시켰습니다.

핵심 포인트

• 기존 JEPA의 유클리드 등방성 가정은 구조화된 다운스트림 기하학에 대해 비용을 발생시키며 예측 결합을 식별하지 못함
• HamJEPA는 Hamiltonian 기하학을 도입하여 각 뷰를 위상 공간 상태(q, p)로 인코딩하고 심플렉틱 결합을 통해 뷰 간 전이를 예측함
• 비등방성 스케일과 스펙트럼 하한을 적용하여 표현 붕괴(collapse)를 방지함
• CIFAR-100 및 ImageNet-100 벤치마크에서 kNN 및 선형 프로브 성능의 유의미한 향상을 입증함