동일한 LLM (Large Language Model)이 평가 문항을 생성하고, 학생의 응답을 시뮬레이션하며, 이를 채점할 때, 검증 루프는 자기 참조적 (self-referential)이 됩니다. 우리는 LLM의 채점 함수 (scoring function)가 생성 함수 (generative function)가 생성하도록 지시받은 기술 수준 (skill levels)을 복원하는지 측정하는 타당도 기준인 생성-평가 일치성 (Generative-Evaluative Agreement, GEA)을 도입합니다. 2단계 적응형 평가 (two-stage adaptive assessment)에서 GEA를 직접 측정한 첫 번째 연구에서, 모델은 체계적인 양의 편향 (positive bias)과 함께 의도된 분산 (variance)의 약 절반인 r = 0.698을 복원했습니다. GEA는 구문론적으로 검증 가능한 기술 (syntactically verifiable skills)에 대해서는 r > 0.7로 강력하지만, 설계 수준의 기술 (design-level skills)에 대해서는 0에 가깝습니다. 또한 저숙련도 과대평가 (low-skill overestimation)는 라우팅 임계값 (routing threshold) 근처의 점수를 부풀립니다. 우리는 세분화되고 기술별로 분해된 루브릭 (skill-decomposed rubrics)이 GEA를 강화하기 위해 제안된 주요 메커니즘이라고 주장하며, 이를 보완할 완화 방안들을 개략적으로 설명합니다.