Who and What? Using Linguistic Features and Annotator Characteristics to

요약

본 논문은 NLP 분야에서 핵심적인 문제인 '인간 라벨 변이'를 다루며, 주석 작성자(annotator)의 특성과 데이터 항목 자체의 언어적 속성 간의 상호작용을 분석합니다. 연구진은 해로운 언어 감지 관련 4개 대규모 참조 데이터셋을 통합적으로 분석하여, 단순히 누가 라벨링했는지뿐만 아니라 무엇이 그 변이에 영향을 미치는지에 초점을 맞췄습니다. 분석 결과, 주석 작성자 특성과 항목의 언어적 속성 간의 상호작용 효과가 중요하며, 특히 단어 단서와 주석 작성자의 태도가 중요한 역할을 한다는 것을 발견했습니다.

핵심 포인트

• NLP에서 인간 라벨 변이(human label variation)는 핵심 현상이며, 데이터 수집은 주석자 다양성 확보에 집중되어 왔다.
• 기존 연구는 '누가' 라벨링했는지에 초점을 맞췄으나, 본 연구는 '무엇' (항목의 언어적 속성)과 그 상호작용을 통합적으로 분석했다.
• 주석 작성자 특성과 항목의 언어적 속성 간의 교차 효과(intersectional effects)가 라벨 변이에 중요하게 작용함을 발견했다.
• 효과 패턴이 데이터셋마다 크게 다르므로, 모델 일반화 및 전이 가능성에 주의를 기울여야 한다.