직접 곱적류 매칭: 전도적 및 각운동 역학을 분리하는 소수 적응

최근 유동 매칭 (Flow Matching, FM) 방법들은 교차 모달 정렬을 연속적인 다단계 유동으로 모델링함으로써 시각어모델의 소수 적응을 개선합니다. 본 논문에서는 기존 FM 방법이 사전 학습된 교차 모달 특징에 대한 불일치하는 기하학적 전제 조건에 의해 본질적으로 제약받으며, 이로 인해 최적화된 적응 성능이 달성되지 않는다고 주장합니다. 우리는 극좌표 분해 관점 (즉, 반지름 및 각도 하위 다양체) 에서 이러한 방법들을 분석합니다. 새로운 기하학적 관점에서 우리는 세 가지 간과된 한계를 식별합니다: 1) 각운동 역학 왜곡: 반지름-각운동 결합은 각도 하위 다양체에서 불균일한 속도를 유발하여 회귀 훈련의 어려움을 초래하고 추가적 절단 오류를 발생시킵니다. 2) 반지름 역학 무시: 특징 정규화는 모달 신뢰도를 폐기하며, 분포 밖 데이터와 분포 안 데이터를 구분할 수 없으며 중요한 반지름 역학을 포기합니다. 3) 컨텍스트 무관 조건부 유동: 사전 학습된 교차 모달 특징 추출 과정에서 데이터셋 특이 정보 손실이 복구되지 않습니다. 이러한 문제를 해결하기 위해 우리는 왜곡된 곱적 다양체 (Warped Product Manifold) 상에서 정렬을 재형식화하는 통합 리만 기하학적 프레임워크인 왜곡된 곱적류 매칭 (WP-FM) 을 제안합니다. 이 프레임워크 내에서, 우리는 상수 왜곡 계량 (Constant-Warping Metric) 을 도입하여 직접 곱적류 매칭 (DP-FM) 을 유도하며, 이는 분리된 원통형 다양체 (즉, 직접 곱적 다양체) 를 생성합니다. DP-FM 은 독립적인 반지름 진화와 등속 각도 지오데식 이동을 가능하게 하여, 각운동 역학 왜곡을 효과적으로 제거하면서 반지름 일관성을 유지합니다. 또한, 사전 학습된 VLM 의 숨겨진 상태 (Hidden States) 에 조건부 유동을 적용하여 누락된 데이터셋 특이 정보를 주입하는 분류자 무관 가이드 (Classifier-Free Guidance) 를 통합합니다. 11 개의 벤치마크에 걸친 광범위한 결과들은 DP-FM 이 다단계 소수 적응을 위한 새로운 최상위 성능 (State-of-the-Art) 을 달성함을 입증합니다.