StylisticBias: 소수의 인간 시각적 단서가 MLLM의 사회적 편향을 주도한다

멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)은 개인적 및 사회적으로 중대한 영향을 미치는 환경에 점점 더 많이 배치되고 있지만, 이러한 모델이 사람을 판단하는 방식을 형성하는 시각적 단서(visual cues)에 대해서는 여전히 이해가 부족합니다. 기존 연구들은 종종 서로 다른 (집단의) 개인들을 비교하기 때문에, 외모의 효과와 정체성(identity)의 차이를 분리하기 어렵습니다. 우리는 MLLM의 속성 수준 사회적 편향 (attribute-level social bias)을 평가하기 위한 통제된 벤치마크인 StylisticBias를 소개합니다. 우리는 500개의 사실적인 기본 얼굴을 생성하고 각 얼굴당 약 50개의 단일 속성 변형을 만들어 약 25,000개의 이미지를 생성했습니다. 이러한 설계는 정체성을 고정시킨 채 한 번에 하나의 시각적 속성만을 변경합니다. 이를 통해 특정 단서가 모델의 판단을 어떻게 변화시키는지 측정할 수 있습니다. 우리는 25개의 이진 사회적 판단 시나리오에 대해 6개의 MLLM을 평가했습니다. 연구 결과, 연령과 체형이 정체성 수준의 효과를 지배하는 반면, 패션 스타일 및 기타 시각적 단서가 속성 수준에서 가장 큰 변화를 주도한다는 것을 발견했습니다. 나아가 약 15개의 속성이 전체 변동의 거의 80%를 차지한다는 것을 발견했으며, 이는 편향이 소수의 시각적 단서에 집중되어 있음을 보여줍니다. 민감도는 외모와 의미론적으로 일치하는 판단, 특히 사회경제적 및 스타일 관련 판단에서 가장 강력하게 나타납니다. 우리는 멀티모달 모델의 세밀한 편향 평가를 위한 벤치마크로서 StylisticBias를 공개합니다. 코드 및 데이터셋: https://github.com/timo-cavelius/StylisticBias 및 https://hf.co/datasets/shaghayegh/stylistic-bias-dataset.