문자 그대로를 넘어: 멀티모달 밈 이해에서의 화용론적 의도 분해

밈(Meme)이나 풍자적인 게시물이 무엇을 의미하는지 질문을 받았을 때, 거대 시각 언어 모델(Large Vision Language Models, LVLMs)은 작성자가 전달하려는 내용보다는 이미지가 보여주는 것을 설명하는 경향이 있습니다. 표준적인 지시어 튜닝(Instruction tuning)은 게시물의 문자 그대로의 내용(Literal content)과 화용론적 의미(Pragmatic meaning)를 뒤섞어 놓아, 표면적인 세부 사항이 최종 응답을 오염시키게 만듭니다. 우리는 밈 이해를 문자적-화용론적 분해(Literal-pragmatic decomposition) 문제로 재정의하고, 단일 LVLM 백본(Backbone) 내에서 표현(Representation), 출력(Output), 그리고 목적(Objective) 수준에서 두 신호를 분리하는 프레임워크인 extbf{Intent Projection}을 제안합니다. 표현 수준에서는 직교 투영(Orthogonal projection) 모듈이 융합된 이미지-텍스트 표현에서 지배적인 단일 모달(Unimodal) 방향을 제거하여 화용론적 잔차(Pragmatic residual)만을 유지하며, 표면적 정서 분류기(Surface-real affect classifier)가 극성 차이(Polarity gap)를 명시하는 이산 태그(Discrete tag)로 디코더(Decoder)를 고정합니다. 출력 수준에서 모델은 구조화된 추론 체인(Reasoning chain)을 외재화하며, 목적 수준에서는 대조적 보상(Contrastive reward)을 통해 문자 그대로의 설명을 재진술하는 답변에 명시적으로 페널티를 부여합니다. 6개의 멀티모달 벤치마크 전반에 걸쳐, Intent Projection은 오픈 소스 베이스라인(Baselines)보다 일관되게 우수한 성능을 보였으며 폐쇄형 모델(Proprietary models)과의 격차를 좁혔습니다. 특히 문자 그대로의 해석이 가장 큰 피해를 주는 높은 발산성(High-divergence) 게시물에서 가장 큰 성능 향상을 보였습니다.