혼자서는 안전하지만 함께라면 위험하다: 양호한 이미지들이 결합될 때 발생하는 암시적 유해성(Implicit Toxicity)에 대한 방어
요약
개별적으로는 무해한 이미지들이 결합될 때 발생하는 '멀티 이미지 암시적 유해성(MIIT)' 문제를 정의하고 이를 탐지하는 연구를 다룹니다. 새로운 데이터셋인 MIIT-dataset을 구축하고, 추론 감독을 통해 학습된 MiShield-8B 모델이 기존 모델보다 뛰어난 탐지 성능을 보임을 입증했습니다.
핵심 포인트
- 멀티 이미지 결합 시 발생하는 암시적 유해성(MIIT) 정의
- 7가지 위험 카테고리를 포함한 MIIT-dataset 구축
- 추론 감독 기반의 MiShield-8B 모델 제안
- 기존 상용 모더레이션 API 및 대형 모델 대비 우수한 성능
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기