온라인 혐오 발언 대응 반박 발언 품질 판정자로서의 LLM 평가

요약

본 논문은 소셜 미디어 혐오 발언에 대응하는 반박 발언(Counterspeech)의 품질을 평가하기 위해 LLM 활용 가능성을 연구합니다. 다양한 오픈 웨이트 LLMs를 제로샷, 퓨샷, CoT 프롬프팅으로 테스트하여 관련성 등 네 가지 차원에서 성능을 분석했습니다. 그 결과, LLMs는 인간 전문가와 낮은 합의도를 보였으나, 점수 변환이나 모델 간 비교에서는 높은 잠재력을 확인했습니다.

핵심 포인트

• LLM은 반박 발언 품질 평가에 사용 가능하나, 인간 전문가와의 합의도는 낮음.
• Qwen 2.5 72B는 Coherence 측면에서 점수 변환을 통해 높은 성능($ ext{κ}=0.35$)을 보임.
• 점별 점수를 쌍별 레이블로 변환하면 LLM과 인간 간의 합의도가 향상됨.
• LLMs는 전문가보다 서로 간에 더 높은 내부 합의도($ ext{κ}=0.76$)를 가짐.