Rubric Modifications 의 인간 - 자동 평가자 간 통계적 효과의 정량화

평가자 (Autoraters, LLM-as-judges) 는 평가 및 자동 콘텐츠 모더레이션에 점점 더 많이 사용되고 있습니다. 그러나, 인간과 평가자에게 제시된 rubric 의 수정이 그들의 점수 일치도에 미치는 영향을 분석한 통계적 연구는 제한적입니다. 전체 또는 ‘çöµ­¿¼Ô³Ù²½À³¸·±À³¸·±À³¸ (holistic) ’ 판단을 요구하는 rubric - 예를 들어, 에세이의 '품질' 을 평가하는 경우 - 기준의 복잡성이나 주관성으로 인해 일관되지 않게 해석될 수 있습니다. 반면, rubric 은 분석적 (analytic) 판단을 요구할 수 있으며, 이는 평가 기준을 분해합니다 - 예를 들어, '품질' 을 '유창도' 와 '조직화' 로 분리합니다. 이러한 rubric 은 인간 및 자동 점수의 개별 정확성을 개선하기 위해 수정될 수 있지만, 두 점수 간 또는 관련 전체적 판단과 불일치를 초래할 수도 있습니다. 신뢰할 수 있는 평가자 (autorater) 를 설계하고 배포하려면 인간과 평가자의 주석 간의 관계뿐만 아니라, 전체적 또는 분석적 판단이 유도됨에 따라 그 관계가 어떻게 변화하는지를 이해해야 합니다. 결과는 rubric 수정이 대표적 예제와 추가 컨텍스트를 제공하며, rubric 의 위치 편향을 줄일 때 인간 - 자동 평가자 간 일치도를 높였음을 나타냅니다. 반면, 더 높은 rubric 복잡성과 보수적인 집계 방법은 이를 감소시키는 경향이 있습니다. 자동 에세이 점수 및 지시 사항 준수 평가 분야의 연구 결과는 전문가들이 도메인 및 rubric 특성에 따른 성능을 신중하게 분석하여 인간 - 자동 평가자 간 일치도를 높이는 방향으로 나아가야 함을 시사합니다.