Joint-Embedding Predictive Architectures(JEPAs)에서, 제약 조건이 잘 설정된 프로젝터 출력만으로는 표현 붕괴(representation collapse)를 막을 수 없습니다. 우리는 초기화 단계부터 인코더 표현이 여러 입력에 의해 공유되는 구성 요소에 지배된다는 것을 발견했습니다. 배치 정규화된(batch-normalized) 프로젝터는 이 구성 요소를 제거하므로, 프로젝터 이후의 정규화로는 이를 수정할 수 없으며, 그 결과 표현 간의 차이가 줄어들어 붕괴하게 됩니다.
우리는 SADL (Supply And Demand Loss)을 제안합니다. 이는 원래의 학습 목표를 유지하면서 필요할 때 인코더에 직접 제약을 가하는 방식입니다. SADL은 프로젝터 출력이 요구하는 표현 차이와 인코더가 보유하고 프로젝터로 전달할 수 있는 차이를 비교하며, 공급(supply)이 수요(demand)에 미달할 때만 인코더에 제약을 추가합니다. 이 방법은 다양한 Demand Regularizers와 함께 작동하며, 보조 네트워크, 추가 학습 가능한 매개변수 또는 아키텍처 변경을 도입하지 않습니다.
단일 작업 및 공동으로 훈련된 네 가지 작업의 LeWorldModel(LeWM)과 INTACT 실험에서, SADL은 열 개의 무작위 시드에 걸쳐 붕괴율을 50%에서 0%로 낮춥니다. 한 에포크의 훈련 후, 인코더의 유효 랭크는 SADL이 없는 해당 기준선보다 3.46.4배 높았으며, 잠재 예측 오차(latent prediction error)는 1/201/303 수준으로 떨어졌습니다. 추가적인 조정 없이도 SADL은 손실 가중치가 여러 자릿수에 걸쳐 분포하기 때문에 견고하게 유지되며, 몇 가지 Demand Regularizers를 사용했을 때 INTACT는 95% 이상의 평균 검색-자유 제어 성공률을 달성했습니다.
네 개의 이미지 데이터셋에서도 SADL은 무작위 시드 전반에 걸쳐 정확도와 안정성을 꾸준히 향상시켰습니다. 이러한 결과들은 정규화기가 요구하는 표현 차이와 인코더가 공급할 수 있는 차이를 일치시키는 것이 제어 및 이미지 분류 분야에서 더 빠르고 안정적인 표현 학습으로 이어진다는 것을 보여줍니다.