이벤트 추출(Event extraction)은 텍스트에서 사건의 핵심 측면들을 식별합니다. 이는 비상 상황에서의 정보에 입각한 의사 결정과 같은 작업에 필수적인 이벤트 이해 및 분석을 지원합니다. 따라서 자동화된 이벤트 추출 접근 방식을 개발하는 것이 필요합니다.

하지만, 알고리즘 개발을 위한 기존 데이터셋들은 폐쇄형 도메인(closed-domain) 설정에서 제한적인 이벤트 유형 커버리지와 개방형 도메인(open-domain) 설정에서 대규모의 수동 검증된 데이터셋 부족 등의 한계를 가지고 있습니다. 이러한 한계점들을 해결하기 위해, 우리는 대규모이며 수동으로 주석 처리되고 통계적으로 검증된 개방형 도메인 이벤트 추출 데이터셋인 EVENT5Ws를 제작했습니다.

우리는 이 데이터셋을 구축하기 위한 체계적인 어노테이션 파이프라인(annotation pipeline)을 설계하고, 이를 통해 어노테이션 복잡성에 대한 경험적 통찰력을 제공합니다. EVENT5Ws를 사용하여 최신 사전 학습 대규모 언어 모델(pre-trained large language models)들을 평가하고 미래 연구를 위한 벤치마크를 확립했습니다. 나아가, 우리는 EVENT5Ws로 훈련된 모델들이 서로 다른 지리적 맥락의 데이터셋에 효과적으로 일반화(generalize)됨을 보여주었으며, 이는 범용적인 알고리즘 개발 잠재력을 입증합니다.

마지막으로, 우리는 데이터셋 개발 과정에서 얻은 교훈들을 요약하고 향후 대규모 데이터셋 개발을 지원하기 위한 권고사항을 제시합니다.