인도네시아 트위터의 이분법적 혐오 표현 감지: PyCaret AutoML 및 CNN-BiLSTM 비교 연구
요약
본 논문은 인도네시아 트위터 데이터셋을 활용하여 이분법적 혐오 표현 감지에 대한 두 가지 접근 방식, 즉 PyCaret AutoML과 CNN-BiLSTM의 성능을 비교합니다. 연구는 전통적인 TF-IDF 및 사전 기반 카운팅을 사용하는 모델링 분지와 밀도 토큰 학습 및 양방향 문맥 포착에 중점을 둔 신경망 분지를 비교했습니다. 그 결과, CNN-BiLSTM이 높은 정확도(83.8%)와 F1 점수(81.2%)를 달성하며 가장 우수한 성능을 보였고, 이는 전통적인 모델 대비 상당한 개선임을 입증합니다.
핵심 포인트
- CNN-BiLSTM은 인도네시아 혐오 표현 감지에서 높은 정확도와 F1 점수를 기록하며 최적의 성능을 보였다.
- PyCaret AutoML 프레임워크는 효과적인 전통적인 베이스라인 모델링 환경을 제공한다.
- 신경망(CNN-BiLSTM) 접근 방식은 지역적 구문 패턴과 양방향 문맥 포착 능력을 통해 전통적인 방법론 대비 성능 향상을 가져왔다.
- 데이터셋은 짧고 중간 정도의 불균형성을 가지며, 혐오 표현 감지가 여전히 어려운 과제임을 시사한다.
본 논문은 Ibrohim 과 Budi 의 코퍼스에서 HS 라벨을 사용하여 인도네시아 트위터의 이분법적 혐오 표현 감지에 대해 PyCaret AutoML 분지와 CNN-BiLSTM 분지를 비교합니다. 두 분지는 동일한 전처리 파이프라인을 공유하여 비교가 모델링 차이를 반영하도록 합니다. 전통적인 분지는 TF-IDF 와 사전 기반 악용 단어 카운트를 사용하며, 신경망 분지는 밀도 토큰 표현을 학습하고 지역적 구문 패턴과 양방향 문맥을 포착합니다. 벤치마크는 13,130 행의 주석 표에서 구축되었으며, HS 라벨은 58:42 클래스 비율을 생성합니다. 홀드아웃 스플릿에서 CNN-BiLSTM 은 83.8% 정확도, 79.8% 정밀도, 82.7% 재현율, 및 81.2% F1 점수를 달성하여 가장 좋은 결과를 보입니다. PyCaret 분지 내에서 Random Forest 는 77.2% 정확도와 77.0% F1 점수로 가장 강력한 전통적인 모델입니다. 따라서 신경망 분지는 정확도를 6.6 포인트, F1 점수를 4.2 포인트 개선합니다. 탐구적 코퍼스 분석, 학습 곡선, 및 혼동 행렬은 데이터셋이 짧은 텍스트이며, 중간 불균형이며, 여전히 어려운 것으로 보입니다. 많은 결정이 지역적 단어 단서와 짧은 문맥 구성에 의존하기 때문입니다. 연구는 PyCaret AutoML 이 효과적인 전통적인 벤치마킹 프레임워크이며, CNN-BiLSTM 이 보고된 벤치마크 설정에서 더 강력한 엔드 모델임을 결론지었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기