트랜스포머 언어 모델은 소프트웨어 컴포넌트로 점점 더 많이 사용되고 있지만, 모델 내부에서 편향된 출력을 국소화하고 수정하는 것은 여전히 어렵습니다. 기존의 공정성 테스트 및 복구 방법들은 주로 입력-출력 또는 재학습 수준에서 작동하는 반면, 최근 연구에서는 편향 관련 동작이 소수의 어텐션 헤드에 집중될 수 있음을 시사합니다. 본 논문은 타겟팅된 추론 시간 개입을 통해 어텐션 헤드를 국소화하고 복구할 수 있는지 연구합니다. 저희는 ROBIN이라는 화이트박스(white-box) 헤드 레벨 공정성 디버깅 방법을 소개하며, 이는 공정성 프로브에 대한 민감도를 사용하여 어텐션 헤드를 순위 매기고 선택된 헤드의 출력에서 작은 편향 부분 공간을 제거합니다. 네 가지 모델 파일럿 연구에서 ROBIN은 전체 모델의 WinoBias 격차를 줄이는 동시에, 전체 헤드 0 처리보다 언어 모델링 품질을 더 잘 보존하는 것으로 측정되었습니다. 이러한 예비 결과들은 헤드 레벨 편향 복구 시 단순히 어떤 헤드를 선택할지뿐만 아니라, 선택된 헤드가 어떻게 수정될지도 고려해야 함을 시사합니다.