공간-시간적 사전 제약(Priors)을 넘어서: 밀집 대응 매칭을 위한 일반화 가능한 접근 방식

밀집 대응 매칭(Dense correspondence matching)은 역사적으로 부드러운 움직임이나 강체 기하학 같은 공간-시간적 사전 제약(spatio-temporal priors)을 단순화하는 것에 의해 한계가 지어져 왔습니다. 이러한 가정들은 고전적인 작업에는 효과적이지만, 변환이 시각적 정체성(visual identity)은 유지하면서 물리적 연속성을 깨뜨릴 수 있는 이미지 편집 및 참조 기반 생성(Image Editing and Reference-guided Generation, IEG)에서는 무너집니다. 이러한 변환 전반에 걸쳐 정체성을 보존하는 대응 관계를 확립하기 위해, 우리는 FreeMatching을 소개합니다. 이는 생성 모델과 의미론적 기초 표현(semantic foundation representations)을 결합하고, 고전 데이터셋, 추적 비디오, 합성 장면으로부터의 이종 감독(heterogeneous supervision)을 활용하는 일반화 가능한 프레임워크입니다. 교사 안내 반복 정제(Teacher-guided iterative refinement)는 밀집 대응 주석이 없는 IEG에서도 대응 관계를 더욱 개선합니다. 실험적으로, 단일 FreeMatching 모델은 까다로운 IEG 이미지 쌍에서 대응 품질을 크게 향상시키면서도 고전 벤치마크에서 경쟁력 있는 성능을 유지함을 보여줍니다. 나아가, 우리는 이 모델이 정체성 보존을 평가하는 정량적 지표로서의 유용성을 입증했으며, 그 점수는 인간의 판단과 상관관계를 가집니다. 코드는 https://github.com/luping-liu/FreeMatching에서 이용 가능합니다.