멀티모달 임베딩 및 리랭커 모델 활용 가이드

요약

Sentence Transformers 라이브러리가 v5.4 업데이트를 통해 텍스트 외에 이미지, 오디오, 비디오 등 다양한 모달리티(multimodality)를 지원합니다. 멀티모달 임베딩 모델은 서로 다른 형태의 데이터를 공통된 임베딩 공간으로 매핑하여, 텍스트 검색과 이미지 문서 비교 같은 크로스-모달 유사성 계산을 가능하게 합니다. 또한, 멀티모달 리랭커는 혼합 모달리티 쌍의 관련성을 점수화할 수 있어, 시각적 문서 검색이나 다중 모달 RAG 파이프라인 구축에 활용됩니다.

핵심 포인트

• 멀티모달 임베딩 모델은 텍스트, 이미지, 오디오 등 다양한 입력을 공통의 벡터 공간으로 매핑합니다.
• 크로스-모달 유사성 계산을 통해 텍스트 설명과 이미지 문서 간의 의미적 관련성을 측정할 수 있습니다.
• 멀티모달 리랭커는 혼합 모달리티 쌍(예: 이미지+텍스트)의 관련성 점수를 평가하는 데 사용됩니다.
• 사용 시 필요한 모달리티에 맞춰 `sentence-transformers` 라이브러리의 extras를 설치해야 합니다.