그녀는 정말 관련성이 있을까? BERT가 명시적인 성별 단서를 무시할 때

대규모 언어 모델(LLM)의 성별 편향성은 주로 영어에 대해 조사되어 왔으며, 문법적 또는 형태론적 성별을 가진 언어들은 비교적 연구가 부족한 상태입니다. 본 논문은 네덜란드 BERT 모델이 처음부터 훈련되는 과정에서 성별 정보가 어떻게 그리고 언제 나타나는지 조사하며, 명시적인 형태론적 성별 표기와 일반적인 형태를 결합하는 언어의 트랜스포머(Transformer) 아키텍처에서 편향 형성의 체크포인트 수준 분석 중 하나를 제공합니다. 훈련 전반에 걸쳐 문맥 임베딩을 추출하여, 선형 SVM(linear SVMs)을 사용하여 동적 성별 부분 공간(dynamic gender subspaces)을 구성하고, 성별이 언제 선형적으로 인코딩되는지 그리고 이 인코딩이 시간이 지남에 따라 어떻게 진화하는지를 추적합니다. 문맥 임베딩은 종종 문맥 단서들을 강력하게 통합한다고 가정되며, 이는 m

심지어 문맥이 명시적으로 여성 지칭을 나타낼 때도 그렇습니다. 종합적으로 볼 때, 저희 Dutch BERT 모델이 학습한 표현에서의 문맥화(contextualization)가 탐색된 성별 방향을 따라 충분히 역동적이지 않은 것으로 보입니다: 반(反)고정관념적인 문맥에서 명시적인 성별 단서가 결과적인 표현에 신뢰성 있게 반영되지 않아 지속적인 남성 기본값 행동(male-default behaviour)이 나타납니다.