생성 시점의 확률 신호(Generation-Time Probability Signals)를 사용하지 않는 LLM-as-a-Judge 난이도

요약

본 연구는 LLM-as-a-Judge가 생성한 난이도 등급 중 인간 평가자(Human Raters)와 불일치할 가능성이 높은 항목을 사전에 예측하고 재평가를 요청하는 방법을 제안합니다. 기존 방식과 달리, 이 방법은 LLM의 생성 시점 확률 신호에 의존하지 않고, 대신 난이도가 서열 척도라는 특성과 임베딩 공간의 기하학적 일관성을 활용하여 불일치 후보를 식별합니다. GPT-OSS-120B 및 Qwen3-235B-A22B 모델을 사용한 실험 결과, 제안된 방법이 기존 확률 기반 방식보다 높은 AUC로 인간 평가자와의 불일치를 예측하는 성능을 입증했습니다.

핵심 포인트

• LLM-as-a-Judge를 활용하여 교육 자료 난이도 자동 할당에 대한 필요성이 증가하고 있습니다.
• 기존 연구들이 의존하던 '생성 시점 확률 신호' 대신, 서열 척도의 특성과 임베딩 공간의 기하학적 일관성을 활용하는 새로운 접근 방식을 제시했습니다.
• 제안된 방법은 LLM이 생성한 등급 중 인간 평가자와 불일치할 가능성이 높은 사례를 식별하여 재평가(Re-rating) 효율성을 높입니다.
• 실험 결과, 제안된 방식이 기존 확률 기반 베이스라인보다 우수한 성능(더 높은 AUC)을 보였습니다.