자연어 처리(NLP) 분야에서 알고리즘 언급 동기에 대한 탐색: 딥러닝 접근 방식

데이터 집약적 과학(data-intensive science)의 부상과 함께, 알고리즘은 과학 연구의 중심이 되었습니다. 학술 논문에서 알고리즘은 특정 연구 과제를 위한 방법론을 설명(describing), 사용(using), 비교(comparing) 또는 개선(improving)하는 등 다양한 목적으로 언급됩니다. 이러한 목적을 식별하면 알고리즘 간의 관계를 밝히고 그 역할과 가치를 평가하는 데 도움이 될 수 있습니다. 자연어 처리(NLP)를 예로 들어, 본 연구는 알고리즘 언급 동기를 식별, 분석 및 진화 과정을 추적하기 위한 문장 수준의 프레임워크를 제안합니다. 우리는 먼저 수동 주석(manual annotation)과 머신러닝(machine learning)을 통해 논문 전문에서 알고리즘 엔티티(algorithm entities)와 알고리즘 관련 문장을 식별합니다. 그 다음, 사전 학습된 모델(pretrained models)과 데이터 증강(data augmentation)을 사용하여 언급 동기를 분류하고, 그 분포와 시간적 진화를 분석합니다. 결과에 따르면, 증강된 데이터로 학습된 딥러닝(deep learning) 모델이 동기 분류에서 전통적인 머신러닝 모델보다 우수한 성능을 보였습니다. NLP 논문에서는 알고리즘 관련 문장의 절반 이상이 직접적인 사용(use)을 표현하는 반면, 개선(improvement)은 가장 빈도가 낮은 동기였습니다. 동기의 다양성은 시간이 지남에 따라 증가했습니다. 특정 알고리즘 범주에 대해, 문법 기반(grammar-based) 알고리즘은 설명(description) 목적으로 더 자주 언급되는 반면, 머신러닝(machine learning) 알고리즘은 사용(use) 목적으로 더 자주 언급됩니다. 시간이 흐름에 따라, 다양한 알고리즘에 걸쳐 사용 동기가 설명 동기를 점진적으로 대체했으며, 개별 알고리즘과 관련된 동기 유형의 수는 크게 감소했습니다. 본 연구는 저자들이 학술적 글쓰기에서 알고리즘 엔티티를 어떻게 언급하는지 밝히며, 향후 알고리즘 관계 식별 및 알고리즘 영향 평가 연구를 위한 기초를 제공합니다.