Fairness Pruning: 차등 활성화(Differential Activations)를 통한 GLU-MLP 레이어 내 인구통계학적 편향

요약

LLM 내 인구통계학적 편향을 완화하기 위한 경량 구조적 개입 방법인 Fairness Pruning을 제안합니다. GLU-MLP 레이어 내에서 특정 속성에 차등 반응하는 뉴런을 식별하고 제로화하여 편향을 조절하는 연구입니다.

핵심 포인트

• 차등 활성화를 통해 편향을 유발하는 특정 뉴런을 정밀하게 식별
• Llama-3.2 모델 대상 실험 결과, 극소수의 뉴런 제로화로 편향 조절 가능
• 모델의 일반 지식 성능을 99% 이상 유지하며 편향 회로 분리 확인
• 단순 제로화가 아닌 방향성 있는 행동 조절을 위한 방법론적 토대 마련