시간적 동시성이 감성 코퍼스의 어노테이션 품질을 예측한다

소수의 어노테이터 (annotator) 풀을 가진 상태에서 캠페인이 몇 주 또는 몇 달 동안 지속될 경우 어노테이션 (annotation) 품질을 유지하기는 어렵습니다. 본 연구에서는 8개의 배치 (batch)에 걸쳐 3명의 원어민 어노테이터가 작업한 3,565개의 트윗으로 구성된 세츠와나 (Setswana) 감성 데이터셋을 제시하며, 어노테이터 간 일치도 (inter-annotator agreement, IAA)가 시간이 지남에 따라 감소하는 이유를 조사합니다. 전체적인 Randolph's free-marginal Kappa 값은 $κ= 0.76$으로 "매우 우수"함에도 불구하고, 배치별 $κ$ 값은 어노테이션 작업 전반에 걸쳐 32포인트 이상 하락합니다. 6가지의 표적 분석을 통해 우리는 다음과 같은 사실을 발견했습니다: (i) 레이블 혼동 (label confusion)은 부정/중립 경계에 집중되며, (ii) 두 명의 어노테이터는 자동 조종 (autopilot) 레이블링과 일치하는 런-레인지 드리프트 (run-length drift)를 보이고, (iii) $κ$의 지배적인 예측 변수는 시간적 동시성 (temporal simultaneity)입니다. 즉, 1분 이내에 레이블링된 트윗은 $κ= 0.98$을 달성하는 반면, 하루 이상의 간격을 두고 레이블링된 트윗은 $κ= 0.65$에 그칩니다. 어노테이션 속도와 트윗 수준의 언어적 특징은 $κ$와 의미 있는 연관성을 보이지 않았습니다. 우리는 3개 클래스 감성 분류 (sentiment classification) 작업에서 세 가지 오픈 다국어 인코더 (encoder)와 독점 모델 (GPT-5 및 Gemini)을 벤치마킹했습니다. 파인튜닝 (fine-tuning)은 사전 학습된 베이스라인 (pretrained baselines) 대비 29에서 43 매크로-F1 (macro-F1) 포인트의 이득을 가져왔으며, GPT-5의 퓨샷 (few-shot) 방식이 전체 1위(62.2 매크로-F1)를 차지했습니다. 우리는 향후 아프리카 언어 NLP 리소스를 위한 재현 가능한 품질 감사를 지원하기 위해 데이터셋, 어노테이션별 타임스탬프 (timestamp), 그리고 분석 코드를 공개합니다.