재학습 대신 보정: 사이버 괴롭힘 심각도에서 어노테이터 불일치의 가치 분해

요약

본 논문은 사이버 괴롭힘 심각도 평가에서 다수결 투표가 어노테이터 간의 중요한 의견 불일치 정보를 폐기하는 문제를 지적합니다. 연구진은 모델이 단일 레이블 대신 판단 분포 자체를 예측할 수 있는지 탐구했습니다. 그 결과, 재학습보다는 기존 모델을 보정(calibration)하는 것만으로도 높은 개선 효과를 얻을 수 있음을 발견했습니다.

핵심 포인트

• 다수결 레이블은 어노테이터 간의 중요한 불일치 정보를 폐기합니다.
• 모델 성능 평가는 단순 정확도보다 판단 분포 일치도가 중요합니다.
• 전체 분포 예측은 재학습 없이 보정(calibration)만으로 효과를 얻을 수 있습니다.
• 인구통계 정보 활용 시 그룹별 예측이 유리하나, 단일 모델의 한계를 가집니다.