이론 기반 평가가 LLM 개인화의 저자성 격차를 드러냄

스타일적 개인화 (stylistic personalization) — 단순히 작업 선호도에 적응하는 것을 넘어 특정 개인의 스타일로 LLM 을 작성하게 하는 것 — 은 저자성 과학에 기반한 평가를 결여하고 있습니다. 우리는 평가 기준을 저자성 검증 이론 (authorship verification theory) 에 근거하도록 함으로써 벤치마크가 측정할 수 있는 것이 어떻게 변화하는지 보여줍니다. LUAR(훈련된 저자성 검증 모델), 특성 매칭이 분리된 LLM-as-judge, 그리고 고전적 기능어 스타일로메트리(function-word stylometrics)라는 세 가지 측정 전통을 바탕으로, 우리는 50 명의 저자와 1,000 개의 생성 (generations) 을 대상으로 4 가지 추론 시간 개인화 방법 (inference-time personalization methods) 을 평가했습니다. 이론 기반 지표인 LUAR 는 임의적인 대안들이 제공할 수 없는 것, 즉 인간 상한선 (human ceiling) 이 0.756 이고 저자 간 하한선 (cross-author floor) 이 0.626 인 보정된 기준선 (calibrated baselines) 을 제공하여 점수에 절대적인 의미를 부여합니다. 모든 방법은 이 하한선 아래, 0.484 에서 0.508 의 점수로 평가되어 비보정 지표에 의해 보이지 않던 저자성 격차 (authorship gap) 를 드러냅니다. 세 가지 지표는 거의 영에 가까운 쌍별 상관관계를 보이며, 절대 r 값이 0.07 보다 작음으로써 이론적 근거가 없으면 지표 선택이 결론을 결정함을 확인합니다: LLM 판사 (judge) 가 명확한 우승자를 선언하는 반면 LUAR 는 의미 있는 차별화를 찾지 못합니다. 이러한 발견들은 이론-벤치마크 사이클 (theory-benchmark cycle) 이 작동하는 방식을 보여줍니다: 저자성 이론은 임의적인 벤치마크가 놓치는 평가 실패를 드러냅니다.