Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to

요약

본 논문은 대규모 언어 모델(LLM)이 학습 데이터의 사회적 편향을 흡수하여 고정관념을 강화하는 문제를 해결하기 위해, 모델 가중치를 수정하지 않고 디코딩 시간(추론 시간)에 편향을 완화하는 새로운 접근 방식을 제안합니다. 이 방법은 별도의 프로세스 보상 모델(PRM)이 후보 토큰들을 공정성과 유창성 측면에서 점수화하여 '판사' 역할을 수행하며, Best-of-N 선택, 순차적 비평 및 수정(Sequential critique-and-revise), 헌법적 자체 감사 등 세 가지 정교한 스키마를 설계했습니다. 실험 결과, 특히 순차적 디비아싱 기법이 가장 효과적이어서 평균 편향 점수를 크게 개선하면서도 언어의 유창성을 유지하거나 향상시키는 것으로 나타났습니다.

핵심 포인트

• 모델 가중치 수정 없이 추론(Decoding) 단계에서 LLM의 사회적 편향을 완화하는 새로운 방법론 제시.
• 별도의 프로세스 보상 모델(PRM)이 후보 토큰에 대한 공정성 및 유창성 점수를 매기는 '판사' 역할을 수행함.
• 제안된 세 가지 스키마 중, 순차적 비평 및 수정(Sequential critique-and-revise) 기법이 가장 높은 편향 감소 효과를 보임.
• Open-ended Generation으로 확장 가능하며, 오버헤드를 최소화하기 위해 잠재적으로 편향된 단어에만 작동하는 경량 Bias Guard Gate를 제안함.
• GPT-4o-mini와 같은 강력한 독점 모델은 프레임워크가 모델 능력에 따라 확장됨을 보여주며, 소규모 오픈 가중치 모델에서도 적용 가능함을 입증함.