원인 기반 추론 시간 개입을 통한 보상 모델 편향 제거

요약

본 논문은 대규모 언어 모델(LLM) 정렬에 사용되는 보상 모델(RMs)의 허위 특징 기반 편향 문제를 해결하기 위한 새로운 원인 기반 추론 시간 개입 방법을 제안한다. 이 방법은 특정 편향 속성과 강한 상관관계를 보이는 뉴런을 식별하고, 해당 뉴런 수준에서 신호를 억제하는 방식으로 작동한다. 실험 결과, 이 접근법은 다양한 편향 유형에 대한 민감도를 효과적으로 줄이면서도 성능 저하 없이 높은 정렬 성능을 달성할 수 있음을 입증했다.

핵심 포인트

• 보상 모델(RMs)의 주요 문제점은 응답 길이와 같은 허위 특징(spurious features)에 민감하여 편향될 위험이 있다는 것이다.
• 제안된 방법은 원인 기반(causally motivated) 개입을 통해 RMs의 다양한 유형의 편향을 추론 시간(inference-time)에 완화한다.
• 편향 제거는 뉴런 수준(neuron-level)에서 특정 편향 속성과 관련된 뉴런 신호를 억제하는 방식으로 이루어진다.
• 이 방법은 적은 수의 편집(전체 뉴런의 2% 미만)으로도 대규모 모델과 비교 가능한 높은 정렬 성능을 달성할 수 있다.