다수결 투표를 넘어서: 주관적 NLP 작업에서 어노테이터 관점을 모델링하기 위한 합의 기반 클러스터링

요약

본 논문은 NLP 데이터셋 개발 과정에서 발생하는 어노테이션 불일치를 모델링하기 위한 '합의 기반 클러스터링(agreement-based clustering)' 기법을 제안합니다. 기존의 다수결 투표 방식의 한계를 극복하고, 개별 어노테이터의 다양한 관점을 효과적으로 활용하는 것이 목표입니다. 감성 분석, 감정 분류 등 주관적 NLP 작업을 포괄하여 40개 데이터셋에서 실험한 결과, 이 클러스터링 기법이 기존 방법들보다 분류 성능을 크게 향상시킬 수 있음을 입증했습니다.

핵심 포인트

• NLP 어노테이션 불일치는 단순한 오류가 아닌 가치 있는 통찰의 원천으로 간주되어야 합니다.
• 제안된 '합의 기반 클러스터링'은 다수결 투표를 넘어선, 어노테이터 관점 전체 스펙트럼을 활용하는 새로운 모델링 접근 방식입니다.
• 본 기법은 감성 분석, 혐오 발언 탐지 등 주관적 NLP 작업에 효과적으로 적용될 수 있습니다.
• 집계 접근 방식 중에서는 멀티-레이블 및 멀티태스크 접근 방식이 클러스터링된 어노테이터를 모델링하는 데 가장 효과적이었습니다.