CATCH-ME if you RAG: 혐오 및 오정보 교환에 대응하는 문맥 주석이 달린 다회차 대응 발언(Counterspeech) 데이터셋
요약
혐오 표현과 오정보가 중첩된 상황에 대응하기 위한 다국어 다회차 대화 데이터셋인 CATCH-ME를 소개합니다. 외부 지식에 기반한 사실적 근거를 포함하여 RAG 시스템에 최적화된 구조를 갖추고 있습니다.
핵심 포인트
- 혐오와 오정보의 교차점을 다루는 최초의 대규모 다국어 데이터셋
- RAG 시스템 적용을 위한 문서 및 청크 수준의 스팬 주석 포함
- 5개 언어 및 7개 소외 계층을 대상으로 하는 전문가 큐레이션 데이터
- 단일 회차를 넘어 실제 상호작용을 반영한 다회차 대화 구조
온라인 혐오 표현(Hate speech)과 오정보(Misinformation)는 빈번하게 중첩되지만, NLP 연구는 주로 이들을 분리하여 다루어 왔습니다. LLM(Large Language Models)은 두 위협 모두에 대해 인간의 대응 발언(Counterspeech) 생성을 보조하는 확장 가능한 솔루션을 나타내지만, 제로샷(Zero-shot) 모델은 빈번하게 반복적이고 모호한 응답을 생성하며, 이는 모델 생성을 유도하기 위한 고품질 예시의 필요성을 강조합니다. 그러나 혐오와 오정보의 중첩에 대응하는 기존의 대응 발언 데이터셋은 부족하며 단일 회차(Single-turn)의 영어 대화로 제한되어 있는 반면, 실제 상호작용은 여러 회차(Multi-turn)와 다양한 언어에 걸쳐 이루어집니다. 이러한 격차를 해소하기 위해, 우리는 혐오와 오정보의 교차점을 다루는 최초의 대규모 전문가 큐레이션 다국어 대화 데이터셋을 소개합니다. 사실적 근거(Factual grounding)를 보장하기 위해, 이 대화들은 검증된 외부 지식(즉, 팩트 체크 기사 및 NGO 보고서)에 고정되어 있으며 문서 및 청크(Chunk) 수준의 스팬(Span) 주석을 포함하고 있어 RAG(Retrieval-Augmented Generation) 시스템에 직접 적용할 수 있습니다. 5개 언어를 다루고 7개의 소외 계층을 향한 혐오를 대상으로 하는 이 새로운 리소스는 더욱 설득력 있고 사실에 기반한 대응 발언 모델의 학습 및 평가를 가능하게 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기