이중 임계값 하드 예제 마이닝을 통한 교차 플랫폼 중국어 공격적 댓글 탐지

중국 소셜 미디어의 공격적 댓글 탐지(offensive comment detection)를 교차 플랫폼으로 배포할 때 성능 저하 문제가 발생합니다. 본 논문은 이를 해결하기 위해 이중 임계값 하드 마이닝(dual-threshold hard mining) 방법을 제안합니다. 첫째, 공정한 비교를 위한 이진 베이스라인(binary baseline)을 구축하기 위해 clean-Chinese-base RoBERTa를 COLD 데이터셋으로 미세 조정(finetuning)합니다. 둘째, Weibo, Xiaohongshu, Tieba, Zhihu를 아우르는 3개 클래스 정밀 라벨링 테스트 세트를 구축하고, Jaccard 및 Proxy-A Distance를 사용하여 소스(source)로부터의 도메인 거리(domain distances)를 정량화하며, 도메인 변화(domain shift) 하에서 베이스라인의 성능 저하 병목 현상을 체계적으로 밝혀냅니다. 이에 따라 이중 임계값 하드 예제 마이닝(dual threshold hard example mining) 전략을 제안합니다. 예측 신뢰도(prediction confidence)를 바탕으로 라벨이 없는 코퍼스(unlabeled corpora)에서 신뢰도가 높거나 낮은 오류 발생 가능 샘플을 필터링합니다. 모델은 수동으로 라벨링된 소수의 하드 예제(hard examples) 세트만을 사용하여 암시적 문맥(implicit contexts) 하에서 2차 미세 조정을 거치며, 이를 통해 저비용 교차 플랫폼 도메인 적응(cross-platform domain adaptation)을 실현합니다. 실험 결과, 최적화된 모델이 4개 플랫폼 전반에서 상당한 성능 향상을 보임을 확인했습니다.