개인화된 평가를 위한 선호도 인식 루브릭 학습 (Preference-Aware Rubric Learning for Personalized

대규모 언어 모델 (LLMs)이 범용 어시스턴트에서 사용자 중심의 에이전트 (agents)로 진화함에 따라, 모델의 행동을 개인의 선호도 (preferences)에 맞추는 개인화 (personalization)가 핵심 요소가 되었으며, 이에 따라 개인화된 정렬 (personalized alignment)을 평가하는 것이 중요한 병목 현상이 되었습니다. 자동 지표 (automatic metrics)부터 LLM-as-a-judge 방식에 이르는 기존의 평가 방법들은 장기적인 상호작용 이력 (interaction histories)에 내재된 주관적이고 사용자 특화된 선호도를 포착하지 못합니다. 우리는 신뢰할 수 있고 효과적인 개인화된 평가를 위한 세 가지 필수 원칙인 대표성 (Representativeness), 사용자 일관성 (User-Consistency), 변별력 (Discriminativeness)을 식별했습니다. 이러한 원칙들을 해결하기 위해, 우리는 개인화된 평가를 정적인 판단이 아닌 학습 문제로 공식화하는 패러다임인 '학습으로서의 개인화된 평가 (Personalized Evaluation as Learning)'를 도입합니다. 이 패러다임 하에서, 우리는 가공되지 않은 사용자 이력으로부터 선호도를 인식하는 평가 루브릭 (evaluation rubrics)을 직접 유도하는 법을 학습하고, 사용자의 선호도와 일관성을 보장하기 위해 자기 검증 (self-validation) 메커니즘을 수행하는 프레임워크인 PARL (Preference-Aware Rubric Learning for Personalized Evaluation)을 제안합니다. PARL은 루브릭 유도 (rubric induction)를 사용자가 작성한 응답과 경쟁적인 개인화 모델의 출력값(outputs)을 대조하는 변별적 강화학습 (discriminative reinforcement learning) 목적 함수와 통합하여, 학습된 루브릭이 정밀하고 사용자 특화된 결정 경계 (decision boundaries)를 포착할 수 있도록 합니다. 실제 개인화된 텍스트 생성 작업에 대한 실험 결과, PARL은 사용자에게 정렬된 응답을 안정적으로 식별하고 사용자 및 작업 전반에 걸쳐 일반화될 수 있는 높은 충실도의 루브릭을 일관되게 유도하며, 안정적인 스타일 선호도와 미세한 평가 패턴을 포착함을 보여줍니다. 재현성을 보장하기 위해, 우리의 코드는 https://github.com/SnowCharmQ/PARL 에서 확인할 수 있습니다.