생성-평가 일치성 (Generative-Evaluative Agreement): LLM 기반 적응형 평가를 위한 필수 타당도 기준

요약

LLM이 평가 문항 생성, 응답 시뮬레이션, 채점을 모두 수행할 때 발생하는 자기 참조적 문제를 해결하기 위한 새로운 타당도 기준인 '생성-평가 일치성(GEA)'을 제안합니다. 연구 결과, LLM은 구문론적 기술은 잘 복원하지만 설계 수준의 기술에서는 낮은 일치성을 보이며 저숙련도를 과대평가하는 경향이 있음이 밝혀졌습니다. 이를 개선하기 위해 기술별로 세분화된 루브릭 사용을 핵심 해결책으로 제시합니다.

핵심 포인트

• 생성-평가 일치성(GEA)은 LLM의 채점 함수가 생성된 기술 수준을 정확히 복원하는지 측정하는 지표임
• LLM은 구문론적 기술(r > 0.7)에는 강하지만, 설계 수준의 기술에는 매우 취약함
• 저숙련 응답을 과대평가하여 라우팅 임계값 근처의 점수를 부풀리는 체계적 편향이 존재함
• GEA를 강화하기 위한 주요 메커니즘으로 기술별로 분해된 루브릭(skill-decomposed rubrics)을 제안함