인도네시아 트위터의 이분법적 혐오 표현 감지: PyCaret AutoML 및 CNN-BiLSTM 비교 연구

요약

본 논문은 인도네시아 트위터 데이터셋을 활용하여 이분법적 혐오 표현 감지에 대한 두 가지 접근 방식, 즉 PyCaret AutoML과 CNN-BiLSTM의 성능을 비교합니다. 연구는 전통적인 TF-IDF 및 사전 기반 카운팅을 사용하는 모델링 분지와 밀도 토큰 학습 및 양방향 문맥 포착에 중점을 둔 신경망 분지를 비교했습니다. 그 결과, CNN-BiLSTM이 높은 정확도(83.8%)와 F1 점수(81.2%)를 달성하며 가장 우수한 성능을 보였고, 이는 전통적인 모델 대비 상당한 개선임을 입증합니다.

핵심 포인트

• CNN-BiLSTM은 인도네시아 혐오 표현 감지에서 높은 정확도와 F1 점수를 기록하며 최적의 성능을 보였다.
• PyCaret AutoML 프레임워크는 효과적인 전통적인 베이스라인 모델링 환경을 제공한다.
• 신경망(CNN-BiLSTM) 접근 방식은 지역적 구문 패턴과 양방향 문맥 포착 능력을 통해 전통적인 방법론 대비 성능 향상을 가져왔다.
• 데이터셋은 짧고 중간 정도의 불균형성을 가지며, 혐오 표현 감지가 여전히 어려운 과제임을 시사한다.