MUSE: 상황 기반 교육 환경에서 다중 모드 이해를 위한 대규모 비전-언어 모델 벤치마킹

요약

본 논문은 기존 벤치마크의 한계를 극복하고, 상황 기반 교육 환경에서 예술 이미지 이해를 평가하기 위한 새로운 벤치마크 MUSE를 제안합니다. MUSE는 시각적 지각부터 문화 이해 및 구성적 추론까지 포괄하는 12가지 작업을 포함하며, 다문화적 맥락을 반영한 다양한 예술 이미지를 제공합니다.

핵심 포인트

• MUSE는 교육 환경의 예술 이미지 이해에 초점을 맞춘 새로운 벤치마크입니다.
• 시각적 지각, 정서 해석, 문화 이해 등 포괄적인 능력을 평가할 수 있습니다.
• 다문화적 맥락과 서양 예술 전통을 아우르는 다양한 이미지를 제공합니다.
• 모델 간의 역량 격차를 분석하여 모델 개발의 과제를 제시합니다.