멀티모달 임베딩 및 리랭커 모델 파인튜닝 가이드

🚀 멀티모달 임베딩 모델, 직접 파인튜닝하기

Sentence Transformers 라이브러리를 활용하여 텍스트뿐만 아니라 이미지, 오디오 등 다양한 모달리티를 처리하는 임베딩 및 리랭커 모델을 학습하거나 미세 조정(Finetuning)할 수 있습니다.

💡 왜 파인튜닝이 필요한가요?
범용적인 멀티모달 모델은 광범위한 작업에 잘 작동하지만, 특정 도메인의 전문 지식이나 패턴을 이해하는 데는 한계가 있습니다. 예를 들어, '회사 3분기 매출'과 같은 질문에 가장 적합한 문서 이미지를 찾아내는 시각 문서 검색(Visual Document Retrieval, VDR)은 단순 이미지-텍스트 매칭보다 훨씬 복잡합니다. 따라서 도메인 특화 데이터로 모델을 파인튜닝하면 성능을 크게 끌어올릴 수 있습니다.

🛠️ 학습 구성 요소 및 방법론
학습 과정은 기존 텍스트 전용 모델과 유사하지만, 데이터셋에 이미지 같은 추가 모달리티가 포함된다는 점이 핵심입니다. 주요 구성 요소는 다음과 같습니다:

• 모델 (Model): Qwen/Qwen3-VL-Embedding-2B와 같은 기존 VLM(Vision-Language Model)을 활용하거나, Router 모듈을 사용해 개별 인코더들을 조합할 수 있습니다.
• 데이터셋 (Dataset): 쿼리(Query), 이미지, 그리고 하드 네거티브(Hard Negative) 쌍으로 구성됩니다. 데이터 형식은 손실 함수가 요구하는 구조를 따라야 합니다.
• 손실 함수 (Loss Function): 검색 작업에 흔히 사용되는 CachedMultipleNegativesRankingLoss 등을 사용하여 쿼리와 양성 쌍의 유사도는 높이고, 모든 네거티브와의 유사도는 낮추도록 학습시킵니다.

이러한 방식으로 파인튜닝을 진행하면, 기본 모델 대비 NDCG@10 성능을 0.888에서 0.947로 향상시키는 등 눈에 띄는 성능 개선을 달성할 수 있습니다.