LLM의 교차적 공정성 평가: 스테레오타입 편향 분석

요약

본 연구는 대규모 언어 모델(LLMs)이 사회적으로 민감한 영역에서 사용됨에 따라 발생하는 '교차적 공정성(intersectional fairness)' 문제를 체계적으로 평가했습니다. 두 가지 벤치마크 데이터셋을 활용하여 6개의 LLM을 대상으로 모호하고 해소된(disambiguated) 문맥에서의 편향성을 분석했습니다. 주요 결과는 다음과 같습니다: 현대 LLMs가 모호한 문맥에서는 전반적으로 우수한 성능을 보이지만, 이는 공정성 지표의 정보성을 제한합니다. 특히 '해소된 문맥'에서 모델의 정확도는 정답이 스테레오타입과 일치할지

핵심 포인트

• LLM은 모호한 문맥에서는 전반적으로 우수하지만, 이로 인해 공정성 지표가 충분히 정보를 제공하지 못하는 한계가 있습니다.
• 해소된 문맥에서 LLM의 정확도는 정답이 스테레오타입과 일치할 때 더 높아지는 경향을 보였으며, 이는 인종-성별 교차점에서 두드러집니다.
• 단순한 정확도 평가만으로는 부족하며, 편향 점수(bias scores), 하위 그룹 공정성 지표(subgroup fairness metrics), 그리고 반복 실행에 따른 일관성(consistency) 측정의 결합이 필수적입니다.
• 평가된 모든 LLM은 교차적인 환경 전반에 걸쳐 일관되게 신뢰할 수 있거나 공정한 행동을 달성하지 못했습니다.