다중 레이블 감정 어노테이션의 품질 및 일치도: 사례 연구 및 평가 프레임워크

감정 어노테이션 (Emotion annotation)은 본질적으로 주관적이지만, 대부분의 NLP 파이프라인 (NLP pipelines)은 여전히 다수결 투표 (majority voting)를 통해 생성된 "골드 (gold)" 레이블을 가정하며, 어노테이터 (annotator) 간의 변동성을 노이즈로 취급합니다. 본 논문에서는 다중 레이블 감정 어노테이션 (multilabel emotion annotation) 사례 연구를 제시하고, 이를 통해 어노테이터의 행동과 집계 (aggregation) 선택이 일치도 추정치와 다운스트림 감정 분류기 (downstream emotion classifiers) 모두에 어떤 영향을 미치는지 조사합니다. 불일치 (disagreement)를 단일 레이블로 축소하는 대신, 우리는 타겟을 소프트 투표 점유 레이블 (soft vote-share labels, 강도 가중 변형 포함)로 표현하며, 임계값 기반 지표 (thresholded metrics, macro-/micro-F1)와 확률적 정렬 (probabilistic alignment, Bernoulli cross-entropy SoftBCE), 그리고 데이터 유도형 불일치 진단 (data-derived disagreement diagnostics)을 모두 사용하여 모델을 평가합니다. 다양한 어노테이션 체제 (annotation regimes)에 걸쳐, 우리는 불일치가 구조화되어 있으며 모델 행동에 측정 가능한 흔적을 남긴다는 것을 보여줍니다. 즉, 하드 레이블 (hard labels)은 F1 지표를 최대화할 수 있지만, 소프트 지도 학습 (soft supervision)은 경험적인 어노테이터의 분산과 불확실성을 더 잘 반영하는 예측을 생성합니다. 우리의 결과는 여러 해석이 가능한 상황에서 다중 레이블 감정 데이터셋을 설계, 집계 및 평가하기 위한 실질적인 가이드를 제공합니다.