일관성 학습을 통한 정치적 조작 감소

대규모 언어 모델 (LLMs)은 다양한 민감한 맥락에서 체계적인 정치적 편향 (political bias)을 보입니다. 우리는 LLMs가 서로 반대되는 정치적 입장의 대응 주제들을 비대칭적으로 다룬다는 것을 발견했습니다. 우리는 이 현상을 은밀한 정치적 편향 (covert political bias)이라고 부르며, 이것이 작동하는 7가지 기술 범주를 식별했습니다. 우리는 은밀한 편향을 측정하기 위한 두 가지 지표를 제안합니다. 감성 일관성 (Sentiment Consistency)은 쌍을 이룬 정치적 프롬프트 전반에 걸친 수사 및 프레이밍 (framing)의 대칭성을 측정하며, 유용성 일관성 (Helpfulness Consistency)은 대칭적인 깊이와 참여도를 측정합니다. 두 종류의 은밀한 편향을 모두 줄이기 위해, 우리는 두 가지 상호 보완적인 패러다임인 감성 일관성 학습 (Sentiment Consistency Training)과 유용성 일관성 학습 (Helpfulness Consistency Training)을 포함하는 RL 학습 방법인 정치적 일관성 학습 (Political Consistency Training, PCT)을 도입합니다. 우리는 PCT가 전반적인 유용성을 유지하면서도 은밀한 정치적 편향을 실질적으로 감소시키며, 학습에 사용되지 않은 벤치마크 (held-out benchmarks)에도 일반화된다는 것을 보여줍니다. 우리는 우리의 연구 결과물을 https://political-manipulation.ai 에서 공개합니다.