대규모 언어 모델(LLMs)을 사용하여 교육 자료를 자동으로 생성하는 것이 점점 더 흔해지고 있지만, 이러한 자료에 난이도 수준을 할당하는 데에는 여전히 상당한 인간의 노력이 필요합니다. 따라서 LLM-as-a-Judge가 주목받고 있으나, 인간 평가자(Human Raters)와의 불일치는 여전히 주요 과제로 남아 있습니다. 본 연구에서는 LLM이 생성한 난이도 등급 중 인간 평가자와 불일치할 가능성이 높은 항목을 예측하여, 해당 사례를 재평가(Re-rating)로 보낼 수 있는 방법을 제안합니다. 기존 방식과 달리, 우리의 방법은 생성 시점의 확률 신호(Generation-time probability signals)에 의존하지 않습니다. 이러한 신호는 등급 생성 중에 수집되어야 하며, LLM 간에 비교하기 어려운 경우가 많습니다. 대신, 난이도가 서열 척도(Ordinal scale)라는 사실을 활용하여 ModernBERT와 같은 별도의 임베딩 공간(Embedding space)을 사용하고, 등급 세트의 기하학적 일관성(Geometric consistency)을 기반으로 불일치 후보를 식별합니다. GPT-OSS-120B 및 Qwen3-235B-A22B를 사용한 영어 CEFR 기반 문장 난이도 평가 실험 결과, 제안된 방법이 확률 기반 베이스라인(Baselines)보다 인간 평가자와의 불일치를 예측하는 데 있어 더 높은 AUC를 달성함을 보여주었습니다.