GKnow: 성별 편향 (Gender Bias)과 사실적 성별 (Factual Gender)의 얽힘 측정

최근 연구들은 성별 편향 (Gender Bias) 완화에 초점을 맞추어, 신경망 (Neural Networks)의 개별 구성 요소가 성별 관련 예측에 미치는 영향을 분석해 왔습니다. 그러나 성별에 대한 기계론적 해석 (Mechanistic Interpretations)은 (i) 성별 대명사 예측과 같이 매우 특정한 성별 관련 작업에만 집중하거나, (ii) 사실적 성별 출력 (단어가 의미론적 속성으로서 성별을 지닌 경우의 올바른 성별 가정)과 성별 편향 출력 (고정관념에 기반함) 사이를 구분하지 못하는 경향이 있습니다. 이러한 문제를 해결하기 위해, 우리는 다양한 유형의 성별 관련 예측에 걸쳐 언어 모델 (Language Models)의 성별 지식 (Gender Knowledge)과 성별 편향 (Gender Bias)을 평가하기 위한 벤치마크인 extgknow를 구축했습니다. extgknow를 통해 우리는 성별 관련 예측을 담당하는 회로 (Circuits)와 개별 뉴런 (Neurons)을 식별하고 분석할 수 있습니다. 우리는 뉴런 절제 (Neuron Ablation)가 고정관념적 성별과 사실적 성별을 분리하는 벤치마크 (DiFair 및 GKnow의 테스트 세트) 및 StereoSet에 미치는 영향을 테스트했습니다. 결과에 따르면 성별 편향 (Gender Bias)과 사실적 성별 (Factual Gender)은 회로와 뉴런 수준 모두에서 심각하게 얽혀 있으며, 이는 절제 (Ablation)가 신뢰할 수 없는 편향 제거 (Debiasing) 방법임을 의미합니다. 나아가, 우리는 성별 편향을 평가하는 벤치마크들이 뉴런 절제 (Neuron Ablation)와 함께 수반되는 사실적 성별 지식의 감소를 숨길 수 있음을 보여줍니다. 우리는 견고한 성별 편향 벤치마크의 지속적인 발전에 기여하기 위해 GKnow를 구축했습니다.