본래 무해한 이미지-텍스트 쌍(image-text pairs) 간의 상호작용에서 유해성이 어떻게 발생하는지 이해하려면, 표면적인 특징(surface-level features)을 넘어 의도 인지적 교차 모달 추론(intent-aware cross-modal reasoning)이 필요합니다. 기존의 시각-언어 모델(Vision-Language Models, VLMs)은 지각적 단서(perceptual cues)에 대한 문자 그대로의 추론에는 뛰어나지만, 암시적이고 문맥 의존적인 추론에 기반하는 유해한 의미론(harmful semantics)을 도출하는 데는 종종 실패합니다. 구성적 유해성 탐지 및 추론(compositional harm detection and reasoning)에 대해 VLMs를 평가하기 위해, 우리는 유해성이 미묘한 멀티모달 단서에 인코딩된 이미지-텍스트 쌍을 포함하는 데이터셋인 MuPHI(Multimodal Pragmatic Harm Interpretation)를 소개합니다. MuPHI는 다양한 유해성 범주를 아우르며, VLM의 추론 체인(reasoning chains)을 평가하기 위한 주석이 달린 유해성 근거(harm rationales)를 포함합니다. VLMs의 탐지 및 추론 능력을 모두 향상시키기 위해, 우리는 다각적 보상(multi-perspective rewards)을 최적화함으로써 결합된 의미론(joint semantics)을 학습하는 추론 증강 학습 프레임워크인 MuPHIRM을 제안합니다. MuPHIRM은 VLMs의 유해성 탐지 및 추론 품질을 모두 개선하는 동시에, 학습 및 추론 시점의 베이스라인(baselines) 모두와 비교하여 우수한 분포 외 강건성(out-of-distribution robustness)을 입증합니다. 우리의 연구 결과는 추론 지향적 보상 최적화(reasoning-oriented reward optimization)가 벤치마크 특정 지름길(benchmark-specific shortcuts)을 넘어 일반화되는 멀티모달 시스템을 구축하는 데 유망한 방향임을 시사합니다.