보상 모델의 편향: LLM 의 사회적 불합리성

요약

본 논문은 LLM 정렬의 핵심 요소인 보상 모델(Reward Models)이 단순히 지시사항 준수 여부를 넘어 사회적 바람직성을 얼마나 잘 포착하는지 분석합니다. 기존 평가는 이러한 사회적 측면을 간과하여 중요한 '사회적 정렬 실패'를 놓칠 수 있습니다. 연구진은 편향, 안전성, 도덕성 등 네 가지 사회적 영역으로 벤치마킹 범위를 확장하고 새로운 프레임워크를 제시했습니다. 그 결과, 현재의 보상 모델들은 강력한 사회적 지능에 미치지 못하며, 종종 사회적으로 부적절한 응답을 선호하는 경향과 체계적인 편향 분포를 보이는 것으로 나타났습니다.

핵심 포인트

• 기존 LLM 평가 방식은 단순 지시사항 준수에만 초점을 맞춰 보상 모델의 사회적 정렬 실패(Social Alignment Failure)를 포착하기에 불충분하다.
• 연구진은 편향, 안전성, 도덕성 등 네 가지 핵심 사회적 영역으로 보상 모델 벤치마킹을 확장하는 새로운 프레임워크를 제안했다.
• 실험 결과, 현재의 보상 모델들은 강력한 사회적 지능이 부족하며, 종종 사회적으로 부적절하거나 편향된 옵션을 선호한다.
• 사회적 편향 회피 능력을 강화하면 문맥에 대한 민감도가 떨어질 수 있다는 '정렬 트레이드오프'가 존재함을 발견했다.