반사실적으로 충실한 감정 설명을 위한 충실한 액션 유닛(Action-unit) 인과 추론

멀티모달 모델(Multimodal models)은 얼굴 감정 뒤에 숨겨진 액션 유닛(Action Units, AUs)의 이름을 명시할 수 있지만, 이들의 AU $\rightarrow$ 감정 근거(rationales)는 일반적으로 충실(faithful)하기보다는 그럴듯해(plausible) 보일 뿐입니다. 즉, 모델이 호출하는 AU가 실제로 예측을 유도하는 AU가 되도록 강제하는 장치가 없습니다. 우리는 AU $\rightarrow$ 감정 추론을 근거(rationale), 레이블(label), 그리고 구조적인 AU $\rightarrow$ 감정 인과 그래프 $G$ 사이의 반사실적 일관성(counterfactual-consistency) 문제로 정의하고, FACR을 제안합니다. FACR은 독립적으로 유도된 극성 인식(polarity-aware) $G$에 추론기를 기반을 두고 반사실적 충실성(counterfactual-faithfulness) 목적 함수를 학습합니다. 즉, $G$가 특정 클래스에 대해 인과적이라고 표시한 AU에 대한 do-개입(do-intervention)은 예측을 변화시켜야 하며, 무관하다고 표시한 AU에 대한 개입은 예측을 변화시키지 않고 유지해야 합니다. 이를 통해 충실성은 학습 가능해지며, 기존의 어떤 정서 추론 벤치마크도 허용하지 않았던 알려진 인과 구조인 PSPI 통증-AU 구성(PSPI pain-AU composition)을 대상으로 하는 일치 개입 지표(matching interventional metric)를 통해 측정 가능해집니다. 우리는 이 지표가 구조의 재발견이 아니라 제공된 구조에 대한 충실도(fidelity)를 테스트한다는 점을 명시합니다. 즉, 학습된 추론기가 홀드아웃 피험자(held-out subjects) 및 두 번째 데이터셋에서 구조가 인과적이라고 표시한 AU를 호출하는지를 묻는 것입니다. UNBC-PAIN에 대한 피험자 독립적 평가(subject-independent evaluation) 하에서, 이 목적 함수는 약간의 탐지 비용을 치르면서 호출된 AU와 PSPI 구성 사이의 일치도를 목적 함수가 없는 베이스라인인 0.08에서 0.57로 높였습니다. 불충실성 대조군(unfaithfulness control)은 이러한 이득이 목적 함수 덕분임을 입증합니다. 데이터셋 간 감정 전이(cross-dataset emotion transfer)에서도 이 목적 함수는 7개 클래스 작업에서 $G$에 대한 충실도를 높였습니다(0.50에서 0.84로). 마지막으로, 우리는 언어 구어화기(language verbalizer)를 부착하고 생성된 텍스트로 감사를 확장합니다. 각 액션 유닛의 방출(emission)을 잠재적 활성화(latent activation)에 따라 편향(biasing)시키면 구성상 근거가 충실해지므로, AU를 제거(ablating)하면 설명에서 해당 AU가 제거되는 속성을 갖게 되며, 이 속성은 두 번째 언어 모델 백본(language-model backbone)으로도 전이되는 반면, 자유롭게 생성된 근거는 충실하지 않습니다.