그녀는 정말 관련성이 있을까? BERT가 명시적인 성별 단서를 무시할 때

요약

본 논문은 네덜란드어와 같이 형태론적 성별을 가진 언어를 대상으로 BERT 모델의 성별 편향성을 분석합니다. 연구진은 훈련 과정 전반에 걸쳐 문맥 임베딩을 추적하여, 명시적인 성별 단서가 모델 표현에 어떻게 인코딩되고 진화하는지 조사했습니다. 그 결과, Dutch BERT 모델이 반(反)고정관념적인 문맥에서 명시적인 성별 정보를 충분히 반영하지 못하고 지속적으로 남성 기본값 행동을 보이는 경향이 있음을 발견했습니다.

핵심 포인트

• LLM의 성별 편향성은 영어 중심이었으나, 형태론적 성별 언어에 대한 연구가 부족했다.
• 연구는 네덜란드 BERT 모델을 사용하여 훈련 과정 중 성별 정보의 인코딩 과정을 분석했다.
• 문맥 임베딩을 추적한 결과, 명시적인 성별 단서가 최종 표현에 신뢰성 있게 반영되지 않았다.
• Dutch BERT 모델은 반(反)고정관념적 문맥에서도 남성 기본값 행동을 보이는 경향이 확인되었다.