Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
중국 소셜 미디어의 교차 플랫폼 공격적 댓글 탐지 시 발생하는 성능 저하 문제를 해결하기 위한 연구입니다. 이중 임계값 하드 예제 마이닝 전략을 통해 도메인 변화에 대응하며, 적은 라벨링 데이터로도 높은 성능의 도메인 적응을 실현합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기중국 소셜 미디어의 공격적 댓글 탐지(offensive comment detection)를 교차 플랫폼으로 배포할 때 성능 저하 문제가 발생합니다. 본 논문은 이를 해결하기 위해 이중 임계값 하드 마이닝(dual-threshold hard mining) 방법을 제안합니다. 첫째, 공정한 비교를 위한 이진 베이스라인(binary baseline)을 구축하기 위해 clean-Chinese-base RoBERTa를 COLD 데이터셋으로 미세 조정(finetuning)합니다. 둘째, Weibo, Xiaohongshu, Tieba, Zhihu를 아우르는 3개 클래스 정밀 라벨링 테스트 세트를 구축하고, Jaccard 및 Proxy-A Distance를 사용하여 소스(source)로부터의 도메인 거리(domain distances)를 정량화하며, 도메인 변화(domain shift) 하에서 베이스라인의 성능 저하 병목 현상을 체계적으로 밝혀냅니다. 이에 따라 이중 임계값 하드 예제 마이닝(dual threshold hard example mining) 전략을 제안합니다. 예측 신뢰도(prediction confidence)를 바탕으로 라벨이 없는 코퍼스(unlabeled corpora)에서 신뢰도가 높거나 낮은 오류 발생 가능 샘플을 필터링합니다. 모델은 수동으로 라벨링된 소수의 하드 예제(hard examples) 세트만을 사용하여 암시적 문맥(implicit contexts) 하에서 2차 미세 조정을 거치며, 이를 통해 저비용 교차 플랫폼 도메인 적응(cross-platform domain adaptation)을 실현합니다. 실험 결과, 최적화된 모델이 4개 플랫폼 전반에서 상당한 성능 향상을 보임을 확인했습니다.