PRISM-X: 인간 및 시뮬레이션 사용자를 활용한 개인화된 미세 조정 (Personalised Fine-Tuning) 실험

개인화 (Personalisation)는 수백만 명이 사용하는 대화형 AI (Conversational AI) 시스템의 표준 기능입니다. 하지만 개인화 방법론의 효능은 학술 연구에서 실제 사람이 아닌 시뮬레이션된 사용자 (Simulated users)를 사용하여 평가되는 경우가 많습니다. 이는 사용자와 그들의 시뮬레이션 대응 대상이 상호작용 패턴과 판단에서 어떻게 다른지, 그리고 개인화가 문맥 기반 프롬프팅 (Context-based prompting)을 통해 달성하는 것이 최선인지 아니면 가중치 기반 미세 조정 (Weight-based fine-tuning)을 통해 달성하는 것이 최선인지에 대한 의문을 제기합니다. 본 연구에서는 대규모 피험자 내 실험 (Within-subject experiment)을 통해, 참가자들이 PRISM 데이터셋 (Kirk et al., 2024)에서 선호도를 밝힌 지 2년 후에 52개국에서 530명의 참가자를 다시 모집하여, 눈가림 처리된 다회차 대화 (Blinded multi-turn conversations)에서 개인화된 언어 모델과 개인화되지 않은 언어 모델을 평가했습니다. 연구 결과, 선호도 미세 조정 (Preference fine-tuning, P-DPO, Li et al., 2024)은 일반 모델과 개인화된 프롬프팅 (Personalised prompting) 모두를 유의미하게 능가하지만, 개인의 선호도 데이터에 적응시키는 것은 다양한 인구 집단의 통합된 선호도로 학습하는 것에 비해 미미한 이득만을 가져다주는 것으로 나타났습니다. 길이 편향 (Length biases) 외에도, 미세 조정은 사람들이 단기 평가에서 보상을 주는 아첨 (Sycophancy) 및 관계 지향적 행동 (Relationship-seeking behaviours)을 증폭시키며, 이는 장기적으로 해로운 결과를 초래할 수 있습니다. 시뮬레이션된 사용자를 사용하여 이 피험자 내 실험을 재현했을 때 모델의 집합적 계층 구조는 복구되었으나, 시뮬레이터는 개인적 판단에 있어 인간의 자기 일관성 (Self-consistency) 기준에 훨씬 못 미치며, 서로 다른 주제를 논의하고, 증폭된 위치 편향 (Position biases)을 보이며, 인간과 다른 피드백 역학 (Feedback dynamics)을 생성합니다.