트랜스포머 어텐션 헤드의 편향 국소화 및 복구 방안 연구

요약

본 논문은 트랜스포머 모델의 편향 문제를 해결하기 위해 어텐션 헤드 레벨에서 개입하는 새로운 방법을 제안합니다. ROBIN이라는 화이트박스 디버깅 기법을 통해 특정 어텐션 헤드를 국소화하고, 해당 헤드의 출력에서 편향된 부분 공간을 제거하여 공정성을 개선함을 보여줍니다.

핵심 포인트

• 트랜스포머 모델의 편향 문제를 해결하기 위해 어텐션 헤드 레벨 개입이 필요합니다.
• ROBIN은 화이트박스 기법으로, 특정 어텐션 헤드를 국소화하고 공정성을 디버깅합니다.
• 헤드 레벨 복구 시 단순히 선택뿐 아니라 수정 방법도 고려해야 합니다.