NLP에서 누가 주석을 다는가? 2018년부터 2025년 사이의 인간 주석 보고에 대한 대규모 평가

인간 주석 (Human annotation)은 데이터셋 구축부터 모델 평가에 이르기까지 많은 NLP 연구의 경험적 토대이지만, 논문들은 종종 누가 주석을 생성했는지, 그리고 주석 과정이 어떻게 제어되었는지를 불분명하게 남겨둡니다. 본 연구에서는 주요 NLP 학술 대회(venue)를 대상으로 인간 주석 보고에 대한 최초의 대규모 태스크 수준 감사 (task-level audit)를 수행하여, 어떤 주석 세부 사항이 문서화되어 있는지, 어떤 사항이 누락되었는지, 그리고 보고 방식이 시간, 주제, 학술 대회, 그리고 인간 판단의 의도된 용도에 따라 어떻게 달라지는지 질문합니다. 우리는 주석 보고 관행에 대한 통합된 분류 체계 (taxonomy)를 도입하고, 41개의 논문과 72개의 주석 태스크로 구성된 인간 판정 골드 표준 (Annotated-gold)을 대상으로 LLM 지원 추출 파이프라인 (LLM-assisted extraction pipeline)을 검증합니다. 여기서 가장 우수한 모델은 판정된 라벨과 인간에 필적하는 일치도를 보였으며, 인간 간 일치도(Krippendorff's alpha 0.585) 대비 0.606의 Krippendorff's alpha를 기록했습니다. 이 파이프라인을 사용하여 우리는 2018년부터 2025년까지의 ACL 학술 대회 논문을 다루는 Annotated-llm 데이터셋을 구축하였으며, 이는 1,603개의 논문에서 2,667개의 추출된 주석 태스크를 포함합니다. 연구 결과, 논문들은 모집 전략, 주석 작업자의 전문성, 주석 양과 같은 운영 세부 사항은 빈번하게 보고하지만, 특히 모델 평가 연구에서는 교육, 언어 숙련도, 보상, 사회 인구학적 특성, 판정 (adjudication), 일치도 값 (agreement values)을 포함하여 주석의 타당성을 평가하는 데 필요한 세부 사항을 자주 누락하는 것으로 나타났습니다. 우리의 결과는 NLP에서의 주석 보고가 시간이 지남에 따라 개선되었으나 여전히 불균형함을 보여주며, 인간 주석을 더욱 신뢰할 수 있고, 재현 가능하며, 해석 가능하게 만들기 위한 확장 가능한 프레임워크와 최소한의 보고 권장 사항을 수립합니다.