교육 평가 설계를 위한 팀원으로서의 작고 프라이빗한 언어 모델

생성형 AI (Generative AI)는 Large Language Models (LLMs) 등을 통해 교육 설계 작업을 점점 더 많이 지원하고 있으며, 교육학적 프레임워크 (예: Bloom's taxonomy)와 일치하는 평가 문항을 설계할 수 있는 능력을 보여주고 있습니다. 그러나 이들은 종종 주관적이거나 제한적인 평가 방법에 의존하거나, 주로 독점적 모델 (proprietary models)에 집중하며, 실제 교육 환경에서의 생성, 평가 또는 배포 제약 조건을 체계적으로 조사하는 경우가 드뭅니다. 한편, Small Language Models (SLMs)는 개인정보 보호 및 리소스 제한 문제를 더 잘 해결할 수 있는 로컬 대안으로 등장했으나, 평가 작업에 대한 이들의 효과는 아직 충분히 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 평가 문항 설계를 위한 LLMs와 SLMs를 체계적으로 비교합니다. 재현 가능하고 교육학적 근거를 갖춘 지표를 사용하여 Bloom's taxonomy 수준 전반에 걸친 생성 품질을 평가하며, 신뢰도와 일치 패턴을 분석함으로써 전문가 기반 평가에 대한 모델 기반 판정 (model-based judging)을 추가로 평가합니다. 결과에 따르면, SLMs는 로컬의 개인정보 보호를 고려한 배포를 가능하게 하는 동시에, 교육학적으로 동기 부여된 주요 품질 차원에서 경쟁력 있는 성능을 달성합니다. 그러나 모델 기반 평가는 전문가 등급과 비교했을 때 체계적인 불일치와 편향을 보이기도 합니다. 이러한 발견은 언어 모델을 평가 워크플로우 내에서 제한된 보조자 (bounded assistants)로 상정할 수 있는 근거를 제공하며, Human-in-the-Loop의 필요성을 강조하고, 품질, 신뢰성 및 배포를 고려한 트레이드오프 (trade-offs)를 조사함으로써 자동화된 교육 문항 생성 분야를 발전시킵니다.