Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
기존 멀티모달 대조 모델의 임베딩은 모달리티 간극을 보입니다. 본 연구는 이 문제를 해결하기 위해 임베딩 도메인을 확률 심플렉스로 변경하는 기하학적 접근법을 제안합니다. 이를 통해 검색 벤치마크에서 중심점 $L_2$ 간극을 크게 줄여 우수한 의미론적 정렬을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기CLIP이나 CLAP 같은 멀티모달 대조 모델(multimodal contrastive models)은 공유된 표현(shared representations)을 성공적으로 학습하지만, 이들의 임베딩(embeddings)은 일반적으로 지속적인 '모달리티 간극(modality gap)'을 보여줍니다. 우리는 이 분리 문제를 순수하게 기하학적인 접근 방식을 통해 해결할 것을 제안합니다. 즉, 임베딩 도메인(embedding domain)을 단위 구(unit sphere), $S^{d-1}$,에서 확률 심플렉스(probability simplex), $Δ^{d-1}$로 변경하는 것입니다.
두 매니폴드(manifolds)가 동일한 본질적 차원(intrinsic dimension)을 공유함에도 불구하고, 심플렉스는 구조적 사전 지식(structural prior) 역할을 합니다. 이의 비음성 및 단위 질량 제약 조건(nonnegative, unit-mass constraints)은 양 모달리티 모두를 동일한 좌표계에 기반하도록 강제하는 크로스모달 보정(cross-modal calibration) 역할을 수행합니다.
가벼운 softmax 어댑터(lightweight softmax adapters)를 부착하고 총 변동성 유사도(Total Variation similarity)를 사용함으로써, 우리는 다섯 가지 멀티모달 검색 벤치마크(multimodal retrieval benchmarks) 전반에 걸쳐 중심점 $ ext{L}_2$ 간극(centroid $ ext{L}_2$ gap)을 97%~99% 감소시켰습니다. 이는 심플렉스 기하학(simplicial geometry)이 진정한 의미적 정렬(semantic alignment)을 유도하며, 표준 비제약 모델(standard unconstrained models)의 검색 성능과 일치하거나 이를 초과함을 확인시켜 줍니다.