MIRCaps: 세밀한 시각-언어 학습을 위한 이미지 레벨 및 영역 레벨 캡션이 포함된 대규모 혼합 도메인 데이터셋

요약

시각-언어 모델(VLM)의 성능 향상을 위해 이미지 레벨과 영역 레벨 캡션이 결합된 대규모 혼합 도메인 데이터셋인 MIRCaps를 소개합니다. 이 데이터셋은 세밀한 시각적 속성 학습을 지원하며, 이미지 캡셔닝 및 객체 탐지 태스크에서 효과적임을 입증했습니다.

핵심 포인트

• 14만 개 이상의 이미지와 약 100만 개의 이미지/영역 레벨 캡션 포함
• 객체 범주, 색상, 행동, 맥락 등 세밀한 시각적 속성 학습 가능
• SmolVLM, BLIP, Qwen2.5-VL 등 경량 모델의 미세 조정 성능 입증
• 데이터셋 및 코드는 Zenodo를 통해 공개적으로 제공