Composed Image Retrieval 벤치마크에 멀티모달 구성 (Multimodal Composition)이 정말 필요한가?

요약

본 연구는 Composed Image Retrieval (CIR) 벤치마크에서 높은 성능이 반드시 '멀티모달 구성(multimodal composition)' 능력 때문인지 의문을 제기합니다. 조사 결과, 상당수의 CIR 쿼리가 참조 이미지나 텍스트 수정 사항 중 단일 모달리티만으로 해결될 수 있는 '유니모달 지름길(unimodal shortcuts)'을 이용하고 있음을 발견했습니다. 따라서 높은 CIR 성능은 진정한 멀티모달 구성 능력보다는 이러한 단순한 유니모달 신호에 의존할 가능성이 높습니다.

핵심 포인트

• CIR 벤치마크의 많은 쿼리가 단일 모달리티만으로 해결 가능한 '유니모달 지름길'을 이용하고 있다.
• 높은 CIR 성능이 진정한 멀티모달 구성 능력 때문인지, 단순한 유니모달 신호에 기인하는지 재검토할 필요가 있다.
• 연구진은 2단계 감사(audit)를 통해 단일 모달리티로 해결 불가능한 '제대로 형성된(well-formed)' 하위 집합을 식별했다.
• 이 검증된 하위 집합에서는 성공적인 검색을 위해 두 입력(참조 이미지와 텍스트 수정 사항)의 결합이 필수적임을 확인했다.