암시적 감성 분석을 위한 인지적 평가 기반의 태스크 라우팅 혼합 전문가 모델 (Task-Routed Mixture-of-Experts with

암시적 감성 분석 (Implicit sentiment analysis)은 특정 속성에 대한 감성이 명시적인 의견 단어를 통해 표현되기보다 사건으로부터 추론되는 경우가 많기 때문에 매우 어렵습니다. 기존 모델들은 일반적으로 최종 극성 (polarity) 레이블로부터 학습하는데, 이는 문맥으로부터 감성을 추론하는 과정에 대해 제한적인 가이드만을 제공합니다. 인지적 평가 이론 (cognitive appraisal theory)에 착안하여, 본 논문에서는 암시적 감성 분석을 위한 평가 인지형 멀티태스크 학습 (MTL) 프레임워크를 제안합니다. 이 프레임워크는 암시적 감성 탐지 (implicit sentiment detection) 및 인지적 근거 생성 (cognitive rationale generation)이라는 두 가지 상호 보완적인 보조 태스크를 통해 극성 예측을 제공합니다. 그러나 MTL에서 서로 다른 타겟을 가진 여러 목적 함수를 학습하고 단일 백본 (backbone)을 태스크 간에 공유하는 것은 유연성을 제한하고 태스크 간 간섭 (task interference)을 초래할 수 있습니다. 이러한 관련이 있으면서도 서로 다른 목적 함수들 사이의 간섭을 줄이기 위해, 우리는 모든 태스크가 공통된 전문가 (experts) 세트를 공유하고 태스크 정체성 (task identity)이 이러한 전문가들의 희소 조합 (sparse combination)을 제어하는 태스크 수준의 혼합 전문가 (mixture-of-experts) 모델을 채택합니다. 우리의 방법은 인코더-디코더 (encoder-decoder) 구조를 기반으로 하며, 인코더 및 디코더 블록의 일부를 이러한 희소 혼합 (sparse mixtures)으로 교체합니다. 우리는 각 태스크에 대해 희소 전문가 혼합을 선택하기 위해 태스크 조건부 라우터 (task-conditioned router)를 사용하며, 서로 다른 태스크가 별개의 전문가 선택 패턴을 학습하도록 장려하기 위해 태스크 분리 라우팅 목적 함수 (task-separated routing objective)를 사용합니다. 실험 결과, 우리 모델은 최근 제안된 접근 방식들보다 뛰어난 성능을 보였으며, 특히 암시적 감성 서브셋 (implicit sentiment subset)에서 강력한 성능 향상을 나타냈습니다. 우리의 코드는 https://github.com/yaping166/TRMoE-ISA 에서 확인할 수 있습니다.