텍스트와 이미지/비디오 임베딩을 동일한 잠재 공간에 결합하는 방법

멀티모달 임베딩은 훌륭하지만, 모델의 학습 데이터만큼만 좋다는 것을 깨닫기 전까지는 그렇습니다. 자신의 이름으로 찾고 싶은 비디오가 있나요? 수동으로 메타데이터를 추가하거나 고통받으세요.

유명인이 아니라면, 모델은 당신의 얼굴을 당신의 이름과 연관시키지 못할 것입니다.

하지만 간단한 해결책이 있습니다. 멀티모달 임베딩 모델은 보통 텍스트 및/또는 이미지를 임베드하는 기능을 제공합니다. 이 임베딩들은 동일한 잠재 공간(latent space)을 공유하므로, RAG(예: 텍스트-이미지 검색)에 사용될 수 있을 뿐만 아니라 가중치 합(weighted sum)을 통해 결합될 수도 있습니다.

이것은 무엇을 의미할까요? 벡터들을 더하여 풍부한 의미를 얻을 수 있다는 것입니다. 당신의 이름의 벡터 임베딩과, 바나나 먹는 사진에 대한 벡터를 가중치 합으로 조합한다고 가정해 봅시다. 예를 들어, 이름에 10%, 사진에 90%의 가중치를 주면, 이제 이 결합된 결과물은 당신의 이름으로 검색될 수 있게 됩니다.

의미가 손실되는 것이 아니라, 지정된 가중치만큼 결합됩니다.