PC-MNet: 다중 모달 사르카즘 감지를 위한 양층 일치 모델링

요약

PC-MNet은 다중 모달(multi-modal) 사르카즘 감지(sarcasm detection)의 정확도를 높이기 위해 설계된 새로운 양층 일치 모델링(two-layer alignment modeling) 접근 방식입니다. 기존 연구들이 단순한 유사성 기반 어텐션이나 균일한 late fusion에 의존했던 한계를 극복하고자, 이 모델은 '표준 일치 라우팅 메커니즘(标자 일치 라우팅 메커니즘)'과 사전 지향적 컨텍스트 그래프를 도입했습니다. 이를 통해 모순 인식 대조적 학습(contradiction-aware contrastive learning)을 수행하여 가장 구별력 있는 다중 입자 증거(multi-granularity evidence)만을 선택적으로 융합함으로써, 기존 대비 높은 성능 향상을 달성했습니다.

핵심 포인트

• 다중 모달 사르카즘 감지는 텍스트와 비언어적 단서 간의 실용적 불일치 식별이 핵심 목표입니다.
• 기존 연구의 한계점인 단순 유사성 기반 어텐션 및 균일한 late fusion 전략을 개선했습니다.
• 핵심 기여는 '표준 일치 라우팅 메커니즘'과 사전 지향적 컨텍스트 그래프를 도입하여 일반화된 불일치 다양체를 고정하는 것입니다.
• 모순 인식 대조적 학습(contradiction-aware contrastive learning)을 통해 2단계 비대칭 최적화를 수행하며, 가장 구별력 있는 증거만 선택적으로 융합합니다.