어노테이션에서의 불일치는 NLP 데이터셋 개발 과정에서 흔한 현상이며, 가치 있는 통찰력의 원천이 됩니다. 다수결 투표(majority voting)가 레이블을 집계하는 지배적인 전략으로 남아 있지만, 최근 연구에서는 개별 어노테이터를 모델링하여 그들의 관점을 보존하는 방안을 탐구해 왔습니다. 하지만 각 어노테이터를 모델링하는 것은 자원 집약적이며 다양한 NLP 작업 전반에 걸쳐 여전히 충분히 탐구되지 않은 영역입니다. 본 논문에서는 어노테이터 간의 불일치를 모델링하기 위한 합의 기반 클러스터링(agreement-based clustering) 기법을 제안합니다. 우리는 감성 분석(sentiment analysis), 감정 분류(emotion classification), 혐오 발언 탐지(hate speech detection)라는 세 가지 주관적 NLP 작업을 포괄하며, 18개의 유형론적으로 다양한 언어의 40개 데이터셋에서 종합적인 실험을 수행했습니다. 우리는 다수결 투표, 앙상블(ensemble), 멀티-레이블(multi-label), 멀티태스크(multitask) 네 가지 집계 접근 방식을 평가합니다. 그 결과, 합의 기반 클러스터링이 어노테이터 관점의 전체 스펙트럼을 활용하여 다수결 투표 및 개별 어노테이터 모델링 대비 주관적 NLP 작업에서 분류 성능을 크게 향상시킬 수 있음을 입증했습니다. 집계 접근 방식과 관련해서는, 멀티-레이블 및 멀티태스크 접근 방식이 앙상블이나 다수결 투표보다 클러스터링된 어노테이터를 모델링하는 데 더 효과적입니다.