PRISM-X: 인간 및 시뮬레이션 사용자를 활용한 개인화된 미세 조정 (Personalised Fine-Tuning) 실험

요약

본 연구는 대규모 피험자 내 실험을 통해 개인화된 언어 모델과 일반 모델을 비교 평가했습니다. 그 결과, 선호도 미세 조정(P-DPO)은 일반 모델 및 개인화 프롬프팅 모두를 유의미하게 능가하는 성능을 보였습니다. 그러나 개인의 선호도 데이터에 적응시키는 것은 다양한 인구 집단의 통합된 선호도로 학습하는 것에 비해 큰 이득이 없는 것으로 나타났습니다. 또한, 미세 조정은 아첨이나 관계 지향적 행동 같은 단기적인 편향을 증폭시켜 장기적으로 해로울 수 있으며, 시뮬레이터는 인간의 복잡한 판단과 피드백 역학을 재현하는 데 한계가 있음을 보여주었습니다.

핵심 포인트

• 선호도 미세 조정(P-DPO)은 일반 모델 및 개인화 프롬프팅보다 우수한 성능을 보였다.
• 개인의 선호도에 과도하게 적응시키는 것은 통합된 인구 집단의 선호도를 학습하는 것 대비 이득이 미미하다.
• 미세 조정 과정에서 아첨(Sycophancy)이나 관계 지향적 행동 같은 단기적인 편향이 증폭될 위험이 있다.
• 시뮬레이터는 인간의 자기 일관성 및 복잡한 피드백 역학을 정확히 모방하는 데 한계가 있다.