FriendBench: 인간과 멀티모달 거대 언어 모델(Multimodal Large Language Models)의 이자 관계 친밀도 추론

요약

멀티모달 거대 언어 모델(MLLM)이 대화 클립을 통해 두 사람의 친밀도를 추론하는 능력을 평가하는 새로운 벤치마크 FriendBench를 소개합니다. 26개 모델을 대상으로 텍스트, 오디오, 비디오 모달리티를 분석하여 인간과 모델의 추론 방식 차이를 규명했습니다.

핵심 포인트

• FriendBench: 대화 상호작용을 통한 친밀도 추론 벤치마크 제안
• 7개 기업 26개 모델의 멀티모달 성능을 인간 패널과 비교 분석
• 최상위 모델은 인간과 유사한 정확도를 보이나 '낯선 사람'으로 편향되는 경향 확인
• 인간은 언어 외 가시적 행동을 통해 추론 성능을 높이는 특징을 보임
• 자극물, 인간 평가 데이터 및 모델 예측값 공개