LLM의 교차적 공정성 평가: 스테레오타입 편향 분석

대규모 언어 모델(LLMs)이 사회적으로 민감한 영역에서 사용됨에 따라, 특히 '교차적 인구통계학적 속성(intersectional demographic attributes)' 전반에 걸쳐 발생하는 편향성과 공정성에 대한 우려가 커지고 있습니다. 본 논문은 6개의 LLM을 대상으로 두 가지 벤치마크 데이터셋에서 가져온 모호하고 해소된 문맥을 활용하여 교차적 공정성을 체계적으로 평가했습니다.

평가는 편향 점수(bias scores), 하위 그룹 공정성 지표(subgroup fairness metrics), 정확도(accuracy), 그리고 다양한 문맥 및 부정/비부정 질문 극성(negative and non-negative question polarities)에 걸친 다중 실행 분석을 통해 이루어졌습니다.

주요 연구 결과:

1. 모호한 문맥 (Ambiguous Contexts): 현대 LLMs는 모호한 문맥에서 전반적으로 좋은 성능을 보였습니다. 하지만 이는 공정성 지표가 충분히 정보를 제공하기 어렵게 만드는 한계로 작용합니다.
2. 해소된 문맥 (Disambiguated Contexts) 및 스테레오타입 편향: 해소된 문맥에서는 LLM의 정확도가 '스테레오타입 정렬(stereotype alignment)'에 의해 영향을 받는다는 것이 밝혀졌습니다. 즉, 모델이 내놓은 정답이 기존의 스테레오타입을 강화할 때 더 높은 정확도를 보이는 경향이 있습니다. 이러한 패턴은 특히 인종-성별 교차점(race-gender intersections)에서 더욱 뚜렷하게 나타나며, 스테레오타입 방향 편향(directional bias toward stereotypes)이 강합니다.
3. 하위 그룹 공정성 및 일관성: 하위 그룹 공정성 지표를 분석한 결과, 일부 사례에서는 낮은 격차(disparity)가 관찰되었음에도 불구하고, 결과 분포는 교차적 그룹별로 여전히 불균형함을 보여주었습니다. 또한, 반복적인 실행을 통해 응답의 일관성에서도 편향된 경향이 나타났습니다.

결론 및 시사점:

전반적으로, 본 연구는 모델의 겉보기에 뛰어난 역량(apparent model competence)이 부분적으로 스테레오타입과 일치하는 단서(stereotype-consistent cues)와 연관되어 있음을 보여줍니다. 평가된 어떤 LLM도 교차적 환경 전반에 걸쳐 일관되게 신뢰할 수 있거나 공정한 행동을 달성하지 못했습니다. 따라서, 모델의 성능을 평가할 때는 단순한 정확도를 넘어, 편향 점수, 하위 그룹 공정성 지표, 그리고 반복 실행에 따른 일관성 측정까지 결합하여 교차적 그룹, 문맥, 반복 실행 전반에 걸쳐 종합적으로 분석하는 것이 매우 중요함을 강조합니다.