표면 형식이 중재 결정에 미치는 영향: 코드 혼용(Code-Mixed) 워크플로우 불안정성에 관한 쌍체 연구

혐오 표현 중재(Hate moderation)는 종종 깨끗한 영어 입력에 대한 분류(Classification)로 평가되지만, 실제 배포된 시스템은 콘텐츠를 허용(ALLOW), 플래그 지정(FLAG), 또는 검토(REVIEW)와 같은 조치로 라우팅해야 합니다. 본 연구에서는 동일한 근본 콘텐츠를 깨끗한 영어와 타밀어-영어 코드 혼용(Tamil-English code-mix)으로 표현하는 쌍체 평가(Paired evaluation) 설정을 사용하여, 코드 혼용 입력 하에서 이러한 워크플로우가 어떻게 변하는지 연구합니다. 깨끗한 영어 개발 데이터에 맞춰 조정된 임계값(Thresholds) 하에서, 코드 혼용 입력은 상당한 조치 불안정성을 생성하며, 깨끗한 영어와 코드 혼용 간의 쌍체 결정 반전율(Decision flip rate)은 0.265로 나타났습니다. 주요 워크플로우 효과로는 검토 부담의 증가와 비혐오 콘텐츠의 오탐지(False-flagging) 증가가 있습니다. 구체적으로 검토율(Review rate)은 0.138에서 0.297로 상승하였고, 비혐오 오탐지율(Non-hate false-flag rate)은 0.069에서 0.104로 상승했습니다. 타밀어 전용(Tamil-only) 입력은 전반적으로 더 강한 성능 저하를 보였으며, 이는 동일한 코드 혼용 불안정성 패턴이라기보다 더 광범위한 언어 커버리지(Language-coverage)의 한계를 시사합니다. 단순한 불일치 기반 유예 규칙(Disagreement-based deferral rule)은 스트레스가 가해진 입력에 대한 자동 오류를 줄여주지만, 이는 검토 부하를 증가시킴으로써만 가능했습니다. 이러한 결과는 워크플로우 수준의 평가가 표준적인 분류 요약(Classification summaries)이 놓칠 수 있는 중재 실패를 드러낸다는 것을 보여줍니다.