한 개의 허브 텍스트가 CLIP을 무너뜨린다: 허브니스를 통한 교차 모드 인코더의 취약점 식별

허브 문제 (hubness problem) 는 허브 임베딩이 많은 관련 없는 예제에 가깝게 위치하는 현상으로, 고차원 임베딩 공간에서 자주 발생하며 정보 검색 및 자동 평가 지표와 같은 실용적인 목적에 위협을 줄 수 있습니다. 특히 텍스트와 이미지 간의 교차 모드 유사도 (cross-modal similarity) 를 문자 매칭과 같은 직접 비교로 계산할 수 없으므로, 서로 다른 모달리티를 공유된 공간으로 투영하는 교차 모드 인코더 (cross-modal encoders) 는 다양한 교차 모드 응용에 유용합니다. 따라서 허브의 존재는 실용적인 위협이 될 수 있습니다. 교차 모드 인코더의 취약점을 드러내기 위해 우리는 허브 임베딩과 이에 대응하는 허브 텍스트를 식별하는 방법을 제안합니다. MSCOCO 와 nocaps 에서의 이미지 캡셔닝 평가 및 MSCOCO 와 Flickr30k 에서의 이미지-텍스트 검색 (image-to-text retrieval) 작업에 대한 실험 결과, 우리의 방법은 많은 이미지에서 인간이 작성한 참조 캡셔너보다 비합리적으로 비교 가능하거나 더 높은 유사도 점수를 달성하는 단일 허브 텍스트를 식별할 수 있음을 보여주며, 이를 통해 교차 모드 인코더의 취약점을 드러냈습니다.