모두를 편향되게 만드는 데는 하나면 충분하다: One-Shot GRPO를 통한 가드레일 무력화

요약

본 연구는 Group Relative Policy Optimization(GRPO)을 통해 LLM의 정렬(alignment) 가드레일이 얼마나 쉽게 무력화될 수 있는지 분석합니다. 단 하나의 편향된 사례를 통한 One-Shot GRPO 학습만으로도 모델이 체계적인 편향을 보이며, 이것이 다양한 벤치마크로 일반화될 수 있음을 경고합니다.

핵심 포인트

• 단 하나의 편향된 사례로도 모델의 정렬 무력화 가능
• One-Shot GRPO 학습을 통한 체계적 편향 유도 확인
• 편향된 추론이 속성 및 범주 전반으로 일반화됨
• 모델의 초기 편향 가능성에 따른 취약성 차이 발견