CodeBind: 통합 구성 코드북을 통한 멀티모달 정렬을 위한 분리된 표현 학습

요약

CodeBind는 멀티모달 표현 정렬 시 발생하는 데이터 부족과 모달리티 간 불일치 문제를 해결하기 위해 제안된 새로운 프레임워크입니다. 공유 구성 요소와 모달리티 특화 구성 요소로 분리된 코드북 설계를 통해, 완전한 쌍을 이룬 데이터 없이도 다양한 모달리티를 효과적으로 정렬합니다. 9가지 다양한 모달리티에 대해 검증되었으며, 멀티모달 분류 및 검색 작업에서 최첨단 성능을 보여줍니다.

핵심 포인트

• 모달리티 공유-특화 코드북 설계를 통해 표현 편향(Representation bias) 완화
• 완전한 쌍을 이룬 데이터(Fully paired data) 없이도 점진적 정렬 가능
• 구성적 벡터 양자화(Compositional vector quantization) 기법 활용
• 텍스트, 이미지, 비디오, 촉각 등 9가지 모달리티에 대한 범용성 입증
• 멀티모달 분류 및 검색 작업에서 SOTA 성능 달성