Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
다자간 회의 상황에서 MLLM의 마음 이론(ToM) 추론 능력을 평가하기 위한 새로운 벤치마크인 MeetingToM을 제안합니다. 가짜 합의와 같은 복잡한 사회적 역학을 계층적으로 평가하며, 현재 모델들의 한계를 분석합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기타인의 신념, 의도, 지식 상태를 추론하는 능력인 마음 이론 (Theory of Mind, ToM)은 사회적 상호작용의 핵심이지만, 현재의 멀티모달 거대 언어 모델 (Multimodal Large Language Models, MLLMs)에게는 여전히 어려운 과제입니다. 특히 단서가 언어와 행동 전반에 걸쳐 분산되어 있는 다자간 회의 상황에서는 더욱 그러합니다. 기존의 멀티모달 ToM 벤치마크는 주로 외적으로 검증 가능한 명시적 신호에 기반한 비디오 기반 질의응답 (video-grounded question answering)에 집중되어 있으며, 잠재적인 사회적 상태나 집단 역학에 대한 범위는 제한적입니다. 본 연구에서는 자연스러운 다자간 회의에서의 복잡한 사회적 행동 추론을 위한 벤치마크인 MeetingToM을 소개합니다. MeetingToM은 사회적 압박 아래 겉으로 보이는 합의가 개인의 반대를 숨기는 extbf{가짜 합의 (pseudo-consensus)}와 같은 회의 특유의 현상을 목표로 합니다. 이 벤치마크는 사회적 세밀함의 수준을 높여가며 ToM을 평가할 수 있도록 계층적으로 구성되어 있으며, 여기에는 (i) 주체 수준의 정신 상태 예측 (subject-level mental state prediction), (ii) 이자 간 수준의 수신자 이해 (dyadic-level addressee understanding), (iii) 집단 수준의 합의 추론 (group-level consensus reasoning)이 포함됩니다. 우리는 통합된 평가 프로토콜을 제공하고 대표적인 MLLM들에 대한 체계적인 분석을 수행하였으며, 비언어적 단서의 통합, 숨겨진 태도 추론, 그리고 진정한 합의와 가짜 합의를 구별하는 데 있어 지속적인 한계가 있음을 밝혀냈습니다. 우리의 결과는 주요 과제들을 강조하며, MeetingToM을 멀티모달 모델의 회의 기반 ToM을 발전시키기 위한 테스트베드로 구축합니다.