대규모 언어 모델 (LLMs)에서 사회적 편향 (social bias)을 완화하는 것은 독특한 정렬 (alignment) 과제를 제시합니다. 검증 가능한 작업과 달리, 편향은 단일한 정답 (ground truth) 이 결여되어 있어 고분산 (high-variance) 의 주관적인 보상 환경 (reward landscape) 을 생성합니다. 기존의 선호도 기반 미세 조정 (preference-based fine-tuning) 방법들은 주요한 트레이드오프 (trade-offs) 를 가집니다. Direct Preference Optimization (DPO) 는 오프라인 학습 (offline training) 에 내재된 탐색 (exploration) 부족으로 인해 제한적이며, Proximal Policy Optimization (PPO) 는 잠재적으로 신뢰할 수 없는 비평가 추정치 (critic estimates) 로 인해 학습 불안정성을 초래할 수 있습니다. 본 논문에서 우리는 샘플링된 완성문 (completions) 그룹 전체에 걸쳐 보상을 정규화함으로써 정렬을 안정화하는 Group Relative Policy Optimization (GRPO) 를 사용하는 프레임워크인 BiasGRPO를 제안합니다. 가치 함수 (value function) 를 그룹 상대적 베이스라인 (group-relative baseline) 으로 대체함으로써, 우리의 접근 방식은 온라인 학습 (online training) 의 탐색 이점을 유지하면서 불안정성을 줄입니다. 우리는 BiasGRPO가 여러 벤치마크에서 DPO 및 PPO보다 뛰어난 성능을 보임을 확인하였으며, 이는 그 효과성을 나타냅니다. GRPO를 적응시키기 위해, 우리는 여러 도메인과 문맥을 아우르는 데이터셋을 합성적으로 확장했습니다. 또한 우리는 생성 과정을 효과적으로 가이드하면서도 계산 효율성이 매우 높고 지식 저하 (knowledge degradation) 를 방지하는 맞춤형 편향 보상 모델 (bias reward model) 을 제작하여 공개하며, 이는 다중 목적 RLHF 파이프라인에 원활하게 통합될 수 있는 가치 있는 리소스를 제공합니다.