아랍어 NLP를 밑바닥부터 구축하기: 20년간의 교훈, 실패, 그리고 미결 과제

본 논문은 수억 명의 사람들이 사용하는 언어임에도 불구하고 영어(English)나 중국어(Chinese)와 같은 언어들에 비해 역사적으로 충분한 지원을 받지 못한 아랍어(Arabic)를 위한 NLP(자연어 처리) 자원 및 연구 인프라를 구축해 온 20년의 시간을 되돌아봅니다. 첫 10년은 기초적인 언어적 인프라 구축에 집중하였으며, 두 번째 10년은 계산 사회 과학(Computational Social Science), 소셜 미디어 분석, 그리고 사회 지향적 응용 분야로 중심이 이동했습니다. 본 논문은 단순히 결과물을 목록화하는 대신, 이를 구축하는 과정의 경험이 무엇을 드러냈는지 검토합니다. 세 가지 반직관적인 교훈이 도출됩니다: 데이터셋을 구축하는 것은 기술적인 과정인 동시에 사회적인 과정이라는 점, 공유된 과제를 중심으로 형성된 커뮤니티가 과제 자체보다 중요한 경우가 많다는 점, 그리고 언어 자원에서 계산 사회 과학으로 이동할 때 전통적인 NLP 교육이 다루지 않는 도전 과제들이 드러난다는 점입니다. 우리는 세 가지 실패 사례를 논의합니다: 임상 현장에 결코 도달하지 못한 우울증 탐지 코퍼스(Corpus), 충분한 깊이 없이 너무 많은 공유 과제로 확산되었던 시기, 그리고 현대 표준 아랍어(Modern Standard Arabic) 인프라가 방언(Dialectal) 과제로 깔끔하게 전이될 것이라는 오랜 가정입니다. 이러한 경험들은 소외된 커뮤니티를 위한 NLP를 개발할 때 가장 어려운 문제는 언어적인 것이 아니라 사회적, 제도적, 그리고 인식론적(Epistemic)인 문제이며, 이 분야에서 거의 가르치지 않는 역량들을 필요로 한다는 점을 시사합니다.