WIDER-FAIR: 공정성 평가를 위한 WIDER-FACE 데이터셋의 주석 버전
요약
얼굴 검출 모델의 인구통계학적 편향을 연구하기 위해 WIDER-FACE 데이터셋에 인종과 성별 주석을 추가한 WIDER-FAIR 데이터셋을 제안합니다. 실험 결과, 특정 인종 그룹에 대한 성능 차이를 확인하였으며 공정성 평가를 위한 데이터셋의 중요성을 입증했습니다.
핵심 포인트
- WIDER-FACE 기반의 인종 및 성별 주석 데이터셋 WIDER-FAIR 공개
- 16,256개의 이미지에 대해 4개 인종과 2개 성별 라벨링 완료
- YOLOv5를 통한 실험 결과, 흑인 얼굴에 대한 검출 성능 저하 확인
- 얼굴 검출 모델의 공정성 격차 완화를 위한 연구 도구 제공
실제 환경에서 얼굴 검출 (face detection) 모델을 배포하는 것은 중요한 공정성 (fairness) 문제를 야기하는데, 이러한 시스템들이 인구통계학적 그룹 간에 성능 차이를 보일 수 있기 때문입니다. 이러한 편향 (bias)을 연구하고 완화하는 데 있어 주요한 장애물은 민감한 특징 주석 (sensitive feature annotations)이 포함된 얼굴 검출 데이터셋의 부족입니다. 이 격차를 해소하기 위해, 우리는 널리 사용되는 WIDER-FACE 벤치마크를 기반으로 구축되었으며, 각 얼굴의 인지된 인종 (ethnicity)과 성별 (sex)이 수동으로 주석 처리된 새로운 데이터셋인 WIDER-FAIR를 소개합니다. 이 데이터셋은 아시아인 (Asian), 흑인 (Black), 인도인 (Indian), 백인 (White)의 4개 인종 그룹과 2개의 성별 카테고리에 걸쳐 주석이 달린 16,256개의 이미지를 포함하고 있습니다. 우리는 얼굴 임베딩 (face embeddings), K-최근접 이웃 (K-Nearest Neighbors) 분류기, 그리고 t-SNE 시각화를 사용하여 주석의 품질과 일관성을 평가하였으며, 이 모든 결과는 라벨링 (labeling) 과정의 일관성을 뒷받침합니다. 데이터셋의 잠재력을 입증하기 위해, 우리는 YOLOv5 모델을 학습시키고 각 민감한 특징에 대한 절제 연구 (ablation studies)를 수행했습니다. 다른 발견 사항들과 더불어, 우리의 실험은 검출 성능이 흑인 개인의 얼굴에 대해 현저히 낮으며, 학습에서 이 그룹을 제외하는 것이 다른 어떤 인종 그룹을 제외하는 것보다 공정성 격차 (fairness disparity)를 더 증가시킨다는 것을 보여줍니다. 이러한 관찰 결과는 얼굴 검출 모델의 편향을 이해하고 평가하는 데 있어 인구통계학적으로 주석이 달린 데이터셋의 가치를 잘 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기