효율적인 어노테이션을 위한 작업 분해 (Task Decomposition)

대규모 코퍼스(Corpora)에서 구조화된 표현(Structured representations)에 대한 고품질 어노테이션(Annotation)을 수집하는 것은 비용이 많이 듭니다. 구조에 대한 수동 어노테이션(Manual annotation)은 노동 집약적이며, 모델 기반 어노테이션(Model-based annotation)은 생성 비용은 더 저렴하지만, 어노테이션 품질이 다운스트림(Downstream) 작업에 유용할 만큼 충분히 강력한지 보장하기 위해 값비싼 검증과 잠재적으로 상당한 감독(Supervision)이 필요합니다. 전통적인 어노테이션 워크플로우(Annotation workflows)에서는 각 완전한 예시에 대한 어노테이션이 단일 어노테이터(Annotator)에 의해 엔드 투 엔드(End-to-end)로 수행됩니다. 그러나 구조화된 어노테이션은 복잡하며, 작업의 각 측면은 주어진 어노테이터에게 연관된 추론 부하(Inferential load)와 함께 고유한 과제를 나타냅니다. 현대적인 어노테이션 프로젝트는 다양한 도메인 및 언어적 전문성을 가진 모델과 인간 어노테이터를 모두 포함하는 이질적인 어노테이터 그룹을 통합할 수 있습니다. 그러나 서로 다른 어노테이션 과제에 대해 이질적인 어노테이터들에게 노력을 차별적으로 할당하는 이러한 환경에서 어노테이션 작업을 어떻게 재설계할지는 여전히 불분명합니다. 우리는 어노테이션 프로젝트의 총 추론 부하(Aggregate inferential load)를 줄이기 위해 어노테이션 작업을 하위 작업(Sub-tasks)으로 분해할 것을 제안합니다. 중심화 이론(Centering theory)의 중심(Centers) 개념에서 영감을 받아, 우리는 유효한 어노테이션 공간 내의 자유도(Degrees of freedom)를 기반으로 한 추론 부하의 공식 모델을 도입합니다. 이 모델을 사용하여, 우리는 이러한 중심(즉, 어노테이션 하위 작업에 의해 실현되는 핵심 앵커 엔티티(Salient anchor entities))을 식별하는 것이 출력 공간의 복잡성을 제한하며, 중심 식별을 격리하고 촉진하는 분해 방식이 총 추론 부하를 줄인다는 것을 보여줍니다. 우리는 복잡한 구조적 어노테이션 작업을 분해하기 위한 가이드라인을 제공하며, 이는 이전 연구에서 비용 효율성이 향상됨을 입증한 사례들로 뒷받침됩니다. 마지막으로, 고정된 예산 하에서 품질을 극대화하기 위해 어노테이터들에게 하위 작업을 할당하는 절차를 제시합니다.