중등 수학 자동 역량 평가를 위한 이질적 대규모 언어 모델 (LLM) 의 인간 개입 (Human-in-the-Loop) 벤치마킹

역량 기반 교육 (CBE) 이 전 세계적으로 주목을 받으면서, 성적 중심의 평가에서 질적인 역량 매핑으로의 전환은 교육자들에게 수동적인 과제가 되고 있습니다. 본 논문은 이를 해결하기 위해 중등 수학 평가 자동화에서 여러 LLM 의 효과성을 평가하는 "인간 개입 (Human-in-the-Loop)" 벤치마킹 프레임워크를 제안합니다. 네팔의 10 학년 선택 수학 커리큘럼을 바탕으로 이해력, 지식, 운영적 유창성, 행동 및 상관관계라는 네 가지 주제와 네 가지 교차 영역 역량에 대한 다차원 평가 기준 (rubric) 을 작성했습니다. 이 다 공급자 앙상블은 오픈 웨이트 모델인 Eagle (Llama 3.1-8B) 와 Orion (Llama 3.3-70B), 그리고 독점 프론티어 모델인 Nova (Gemini 2.5 Flash) 와 Lyra (Gemini 3 Pro) 로 구성되었습니다. 이 모델들은 두 명의 시니어 수학 교원이 정의한 참값 (ground truth) 과 벤치마킹되었으며, 그 일치도는 클라임바 계수 kappa_w = 0.8652 로 측정되었습니다. 연구 결과는 뚜렷한 "아키텍처 호환성 격차 (Architecture-compatibility gap)"를 보여주었습니다. 지멘基於의 혼합 전문가 (Sparse MoE) 모델은 "공정한 합의 (Fair Agreement)" (kappa_w ~ 0.38) 를 달성했지만, 더 큰 Orion (70B) 모델은 "합의 없음 (No Agreement)" (kappa_w = -0.0261) 을 보였습니다. 이는 평가 기준 제약이 있는 작업에서 아키텍처가 지시사항에 대한 준수를 하는 것이 원본 파라미터 규모보다 더 중요함을 시사합니다. 우리는 LLM 이 아직 자율 인증에는 적합하지 않지만, "인간 개입 (Human-in-the-Loop)" 프레임워크 내에서 예비 증거 추출을 위한 고부가가치 보조 지원을 제공한다고 결론지었습니다.