인구통계학적 정보는 언제 도움이 되는가? 관점 인지적 혐오 표현 탐지를 위한 데이터 및 모델링 체제

인구통계학적 정보(Demographic information)는 혐오 표현 탐지(hate speech detection)와 같은 주관적인 작업에서 주석가(annotator)의 관점을 모델링하기 위해 자주 사용되지만, 그 이점은 일관되지 않습니다. 즉, 어떤 설정에서는 성능을 향상시키지만 다른 설정에서는 노이즈(noise)로 작용하기도 합니다. 본 논문은 인구통계학적 특징이 언제 도움이 되는지를 질문합니다. 우리는 데이터 분할(data split) 특성과 모델링 프레임워크(modeling frameworks) 모두의 함수로서 인구통계학적 이득(demographic gain)을 분석합니다. 데이터 분할의 경우, 주석가 간의 불일치(annotator disagreement), 즉 주석가들이 동일한 예시에 대해 얼마나 자주 서로 다른 라벨을 부여하는지를 측정하며, 훈련 크기(training size) 및 훈련-테스트 인구통계학적 커버리지(train-test demographic coverage)를 함께 측정합니다. 우리는 인구통계학적 이득이 낮은 훈련 불일치(low training disagreement), 높은 테스트 불일치(high test disagreement), 세밀한 모호성 측정(fine-grained ambiguity measurement), 충분한 훈련 데이터, 그리고 더 큰 인구통계학적 중첩(demographic overlap)을 가진 체제(regimes)에 집중되어 있음을 발견했습니다. 이러한 체제에 착안하여, 우리는 인구통계학적 정보를 텍스트 전용 예측(text-only predictions)에 대한 선택적 조정으로 취급하는 게이트형 인구통계학적 잔차 모델(gated demographic residual model)을 소개합니다. MHS 및 POPQUORN에 대한 실험 결과, 이 설계가 특히 불일치가 높거나 신뢰도가 낮은 예시에서 효과적임을 보여줍니다. 전반적으로, 우리의 결과는 인구통계학적 정보가 기본적으로 유용하다고 가정해서는 안 된다는 것을 시사합니다. 그 가치는 데이터 체제(data regime)와 모델링 프레임워크에 공동으로 의존합니다.