이론 기반 평가가 LLM 개인화의 저자성 격차를 드러냄

요약

본 논문은 LLM 개인화 평가에 있어 '저자성 과학' 기반의 평가 기준이 필수적임을 주장합니다. 기존의 스타일적 개인화 평가는 저자의 고유한 스타일을 측정하는 이론적 근거가 부족하여, 실제로는 의미 있는 '저자성 격차(authorship gap)'를 놓치고 있습니다. 연구진은 LUAR와 같은 이론 기반 지표를 사용하여 50명의 저자와 1,000개의 생성 데이터를 평가한 결과, 모든 개인화 방법이 낮은 점수를 받았으며, 기존의 임의적인 벤치마크들은 이 격차를 감지하지 못함을 입증했습니다. 이는 LLM 성능 평가가 단순한 데이터 측정에 그치는 것이 아니라, 견고한 이론적 기반을 갖추어야 함을 시사합니다.

핵심 포인트

• LLM 스타일 개인화는 저자의 고유성을 포착하기 위해 '저자성 과학(authorship science)' 기반의 평가 기준이 필요하다.
• 기존의 임의적인 벤치마크들은 실제 존재하는 '저자성 격차'를 측정하지 못하는 한계를 보인다.
• LUAR와 같은 이론 기반 지표는 인간 상한선과 저자 간 하한선을 제공하여 점수에 절대적 의미를 부여한다.
• 평가 지표 선택이 결과에 결정적인 영향을 미치므로, 평가에는 견고한 이론적 근거가 필수적이다.