From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for

요약

본 논문은 규칙 기반 필터링과 LLM 분류를 결합한 확장 가능한 자동 신조어 탐지 파이프라인을 제시합니다. 이 파이프라인은 문법적 및 비문법적 형태론에 기반하여 신조어의 범위를 정의하고, 2005년부터 2024년까지의 대규모 Reddit 코퍼스(5억 개 이상)를 활용했습니다. 그 결과, 1억 2천만 개의 토큰에서 1,021개의 유망한 신조어 후보군을 추출했으며, 이 중 상당수가 실제 언어적 혁신임이 확인되었습니다.

핵심 포인트

• 규칙 기반 필터링과 LLM 분류를 결합하여 자동화된 신조어 탐지 파이프라인을 구축했습니다.
• 2005년부터 2024년까지의 대규모 Reddit 코퍼스(5.27억 개)를 사용하여 모델을 인스턴스화했습니다.
• 1억 2천만 개의 토큰에서 전문가 검증에 적합한 규모인 1,021개의 신조어 후보군을 효율적으로 추출했습니다.
• LLM의 다수 투표 및 교차 모델 불일치 분석을 통해 대규모 신조어 탐지 운영화 과정의 어려움을 실질적으로 보여주었습니다.