멀티모달 임베딩 모델, 직접 파인튜닝하기

요약

본 글은 Python 라이브러리 Sentence Transformers를 사용하여 멀티모달(text, image 등) 임베딩 및 리랭커 모델을 직접 학습하거나 파인튜닝하는 방법을 안내합니다. 특히 시각 문서 검색(Visual Document Retrieval, VDR)과 같은 도메인 특화 작업에 모델을 최적화하는 것이 중요함을 강조합니다. Qwen/Qwen3-VL-Embedding-2B와 같은 기존 멀티모달 모델을 활용하여 파인튜닝한 결과, NDCG@10 성능이 0.947로 향상되어 기본 모델(0.888) 대비 높은 성능 개선을 보

핵심 포인트

• 파인튜닝은 범용적인 멀티모달 모델을 특정 도메인 작업에 최적화하는 데 필수적입니다.
• Sentence Transformers는 텍스트 외 이미지, 오디오 등 다양한 모달리티를 처리할 수 있도록 설계되었습니다.
• 모델 학습 시에는 기존 VLM 체크포인트 활용 또는 Router 모듈로 개별 인코더 조합이 가능합니다.
• 데이터셋은 손실 함수(Loss Function) 요구사항에 맞춰 'label' 또는 'score' 컬럼을 포함해야 합니다.