Composed Image Retrieval 벤치마크에 멀티모달 구성 (Multimodal Composition)이 정말 필요한가?

Composed Image Retrieval (CIR)은 쿼리가 참조 이미지 (reference image)와 텍스트 수정 사항 (textual modification)으로 구성되며, 이 두 가지를 모두 만족하는 타겟 이미지를 검색하는 것을 목표로 하는 멀티모달 검색 (multimodal retrieval) 태스크입니다. 원칙적으로, CIR 벤치마크에서 강력한 성능을 내기 위해서는 멀티모달 구성 (multimodal composition), 즉 참조 이미지와 텍스트 수정 사항으로부터 상호 보완적인 정보를 결합하는 능력이 필요하다고 가정됩니다. 본 연구에서는 이러한 가정이 항상 성립하지는 않는다는 것을 보여줍니다. 널리 사용되는 4개의 CIR 벤치마크와 11개의 범용 멀티모달 임베딩 (Generalist Multimodal Embedding) 모델을 대상으로 조사한 결과, 상당수의 쿼리가 단일 모달리티 (single modality)만으로 해결될 수 있음(32.2%에서 83.6% 사이)을 확인하였으며, 이는 만연한 유니모달 지름길 (unimodal shortcuts)의 존재를 드러냅니다. 따라서 높은 CIR 성능은 진정한 멀티모달 구성이 아닌 유니모달 신호 (unimodal signals)로부터 발생할 수 있습니다. 이 문제를 더 잘 이해하기 위해, 우리는 2단계 감사 (audit)를 수행합니다. 첫째, 교차 모델 분석 (cross-model analysis)을 통해 지름길로 해결 가능한 쿼리를 식별합니다. 둘째, 지름길이 없는 4,741개의 쿼리에 대해 인간 검증 (human validation)을 실시하였으며, 이 중 1,689개만이 제대로 형성된(well-formed) 쿼리였고, 모호한 편집(ambiguous edits) 및 불일치하는 타겟(mismatched targets)과 같은 공통적인 문제들이 발견되었습니다. 검증된 이 하위 집합(subset)에서 모델을 재평가한 결과, 질적으로 다른 동작이 나타났습니다. 즉, 쿼리를 더 이상 단일 모달리티로 해결할 수 없으며, 성공적인 검색을 위해서는 두 입력을 모두 결합해야 합니다. 정확도는 감소하지만, 멀티모달 정보에 대한 의존도는 증가합니다. 종합적으로, 현재의 CIR 벤치마크는 지름길로 해결 가능한 쿼리, 노이즈가 있는 쿼리, 그리고 진정으로 구성적인 (genuinely compositional) 쿼리를 혼재시키고 있으며, 이는 멀티모달 구성 능력에 대한 모델의 역량을 과대평가하게 만듭니다.