최적 운송 의미론적 흐름(Optimal Transport Semantic Flow)을 통한 시각 및 언어 개념의 연결

개념 병목 모델 (Concept Bottleneck Models, CBMs)은 인간이 해석 가능한 개념을 통해 예측함으로써 투명한 추론을 약속하지만, 그 효과는 시각적 및 텍스트 표현이 얼마나 잘 정렬되거나 일치하는지에 근본적으로 달려 있습니다. 기존의 시각-언어 CBM은 종종 사전 정렬된 인코더 (pre-aligned encoders) 또는 전역 코사인 유사도 (global cosine similarity)에 의존하며, 이는 세밀한 개념 국지화 (fine-grained concept localization)를 가리고 실제 의미론적 기하학 (semantic geometry)을 반영하지 못합니다. 본 연구에서는 개념 정렬을 정적인 투영 (static projection) 대신 동적인 교차 모달 운송 과정 (dynamic cross-modal transport process)으로 재고하고, 최적 운송 흐름 개념 병목 모델 (Optimal Transport Flow Concept Bottleneck Model, OTF-CBM)을 제안합니다. 이 모델은 먼저 역 최적 운송 (Inverse Optimal Transport)을 통해 교차 모달 거리를 측정하는 데이터 기반 의미론적 비용 (semantic cost)을 학습한 다음, 시각적 패치 (visual patches)와 텍스트 개념 사이의 의미론적 전이를 모델링하기 위해 불균형 최적 운송 기반 흐름 매칭 (unbalanced optimal-transport-based flow matching)을 수행합니다. 속도 기반 개념 활성화 (velocity-based concept activation)를 통해, OTF-CBM은 상미분 방정식 (ODE) 적분 없이도 해석 가능한 기하학적 관계를 포착합니다. 실험을 통해 OTF-CBM이 우수한 분류 정확도와 개념 충실도 (concept faithfulness)를 달성함을 보여주며, 해석 가능한 교차 모달 추론을 위한 새로운 기하학적 및 동역학적 관점을 제공합니다.