시각적 프라이밍이 비전-언어 모델의 협력 행동에 미치는 영향

비전-언어 모델 (Vision-Language Models, VLMs) 이 의사결정 시스템에 점차 통합됨에 따라 시각적 입력이 그들의 행동을 어떻게 영향을 미치는지 이해하는 것이 필수적입니다. 본 논문은 반복 죄수의 딜레마 (Iterated Prisoner's Dilemma, IPD) 를 테스트 시나리오로 사용하여 시각적 프라이밍이 VLMs 의 협력 행동에 미치는 영향을 조사합니다. 우리는 행동 개념 (친절함/도움 vs 공격성/이기심) 을 묘사하는 이미지에 노출되는 것과 색상이 지정된 보상 행렬이 VLM 의사결정 패턴을 변경하는지 여부를 검토합니다. 여러 최첨단 VLM 에서 실험을 수행했습니다. 우리는 프롬프트 수정, 사슬의 사고 (Chain of Thought, CoT) 추론, 시각 토큰 감소와 같은 완화 전략도 추가로 탐구합니다. 결과는 VLM 행동이 이미지 콘텐츠와 색상 단서에 모두 영향을 받을 수 있으며, 모델마다 민감도와 완화 효과는 다르다는 것을 보여줍니다. 이러한 발견은 비전-언어 모델을 시각적으로 풍부하고 안전이 중요한 환경에 배포하기 위해 견고한 평가 프레임워크의 중요성을 강조할 뿐만 아니라, 모델 간의 구조적 및 훈련적 차이가 어떻게 다른 행동 반응을 이끌어낼 수 있는지를 부각시킵니다. 이는 추가 조사가 필요한 분야입니다.