자연어 처리(NLP) 기술 발전의 규명: 과학적 엔티티 중심 관점

기술 발전에 관한 대부분의 연구는 주제 중심(thematic perspective) 관점에서 수행되어 왔으나, 이러한 주제들은 입도가 거칠어(coarse-grained) 기술을 정확하게 나타내기에 불충분합니다. 자동 엔티티 인식(automatic entity recognition) 기술의 발전은 기술 관련 엔티티(entities)를 대규모로 추출하는 것을 가능하게 했습니다. 따라서 본 연구에서는 엔티티 중심 관점(entity-centric perspective)에서 기술 발전에 대한 더욱 정확한 분석을 수행합니다. 우선, 자연어 처리 (Natural Language Processing, NLP) 관련 논문에서 방법론(methods), 데이터셋(datasets), 평가지표(metrics), 도구(tools)와 같은 기술 관련 엔티티를 추출하고, 엔티티를 정규화(normalize)하기 위해 반자동 방식(semi-automatic approach)을 적용합니다. 이어서, 엔티티의 영향력을 측정하기 위해 공생 네트워크(co-occurrence networks)를 기반으로 엔티티의 z-score를 계산합니다. 그런 다음 21세기 초 이후 NLP 분야의 신기술 발전 트렌드를 분석합니다. 본 논문의 연구 결과는 세 가지 측면을 포함합니다: 첫째, 논문당 평균 엔티티 수가 지속적으로 증가하고 있다는 점은 연구자들이 관련 기술 배경 지식을 습득해야 하는 부담이 커지고 있음을 시사합니다. 그러나 사전 학습 언어 모델(pre-trained language models)의 등장은 NLP 분야의 기술 혁신에 새로운 활력을 불어넣었습니다. 둘째, 179개의 고영향력 엔티티(high-impact entities) 중 방법론(Methods)이 지배적입니다. 상위 10개 엔티티에 대한 z-score 추이를 분석한 결과, BERT와 Transformer로 대표되는 사전 학습 언어 모델이 최근 몇 년 동안 주류가 되었음을 알 수 있습니다. 다른 8개 방법론 엔티티의 추세와 달리, Wikipedia 데이터셋과 BLEU 평가지표의 영향력은 장기적으로 계속 상승해 왔습니다. 셋째, 최근 몇 년 동안 그 어느 때보다 새로운 고영향력 기술의 인기가 눈에 띄게 급증했으며, 연구자들의 수용 속도 또한 전례 없는 속도로 가속화되었습니다. 본 연구는 특정 분야의 기술 발전을 분석하는 새로운 관점을 제공합니다.