러셀의 정서 환상 모델(Russell's Circumplex Model of Affect)에 대한 데이터 기반 디코딩

감성 컴퓨팅 (Affective computing)은 감정을 표현하기 위해 딥러닝 (deep learning)에 점점 더 의존하고 있지만, 잠재 공간 (latent spaces)은 종종 불투명하고 고차원적인 블랙박스로 남아 있습니다. 본 논문은 Transformer의 임베딩 (embeddings)이 러셀의 정서 환상 모델 (Russell's circumplex model)의 기하학적 규칙성을 회복하는지 조사합니다. 우리는 텍스트와 음성으로 모델을 학습시킨 후, 그 결과로 나타나는 잠재 공간이 가가성-각성 (valence-arousal)과 일치하는 위상 (topology)을 인코딩하고 인간과 유사한 이웃 관계를 재현한다는 가설을 테스트하는 두 가지 상호 보완적인 실험을 통합합니다. 구체적으로, 우리는 MSP-Podcast와 같은 자연스러운 데이터셋과 통제된 LLM 생성 자극을 사용하여, Transformer 기반의 텍스트 (RoBERTa) 및 음성 (wav2vec 2.0) 인코더에서 추출된 심층 표현 (deep representations)과 멀티모달 Transformer 융합 아키텍처 (multimodal Transformer fusion architecture)를 평가합니다. 우리의 분석은 텍스트와 오디오의 멀티모달 융합이 러셀의 주요 감정 순서와 완벽한 위상적 정렬 (topological alignment)을 이룬다는 것을 보여줍니다. 또한, 일반적인 텍스트 임베딩을 사용하는 제로샷 (zero-shot) 설정에서, 투영된 세밀한 감정 용어들은 인간이 매핑한 기존 좌표에 가깝게 위치합니다. 우리의 기여는 감정 모델을 검증하기 위한 새로운 데이터 기반 프레임워크를 제시하는 것이며, 러셀의 환상 구조가 단순히 인간 라벨링 (human labeling)의 결과물이 아니라 이러한 양식(modalities)의 임베딩에 본질적으로 인코딩되어 있음을 입증함으로써 심리학 이론과 표현 학습 (representation learning) 사이의 간극을 메웁니다.