비슷한 이미지 선택이 비전-언어 모델의 선호도 전이를 유발한다

요약

본 연구는 비슷한 이미지 선택만으로도 비전-언어 모델(VLM)의 선호도가 전이될 수 있음을 보여줍니다. 큐레이터가 유사한 변형본 중 하나를 선택하는 과정에서, 학생 모델들은 특정 타겟에 대한 높은 로그 가능도를 보였습니다. 이 현상은 LLaVA-1.5, Qwen2.5-VL, Qwen3-VL, Gemma 4 등 여러 VLM에서 관찰되었으며, 데이터셋 크기나 학습률에 따라 그 정도가 달라집니다.

핵심 포인트

• 비슷한 이미지 선택만으로도 모델의 선호도가 전이됨을 입증했습니다.
• LLaVA-1.5와 Qwen3-VL 등 여러 VLM에서 올빼미 타겟 선호도 증가가 관찰되었습니다.
• 선택 과정은 명시적인 캡션 없이도 학생 모델에 영향을 미칩니다.
• 데이터셋 크기, 학습률 등에 따라 전이의 정도가 달라집니다.