교육 평가 설계를 위한 팀원으로서의 작고 프라이빗한 언어 모델

요약

본 연구는 교육 평가 설계를 위해 LLMs와 SLMs의 성능을 체계적으로 비교합니다. 특히 Bloom's taxonomy 수준에 걸친 생성 품질과 신뢰도를 분석하여, 모델 기반 판정(model-based judging)이 전문가 평가 대비 보이는 불일치 및 편향을 탐구했습니다. 연구 결과, SLMs는 개인정보 보호를 유지하면서도 교육학적 관점에서 경쟁력 있는 성능을 보여주었으며, 이는 언어 모델을 자동화된 보조자로서 활용하고 Human-in-the-Loop 접근 방식을 강화할 필요성을 시사합니다.

핵심 포인트

• LLMs와 SLMs의 교육 평가 설계 적용 가능성을 비교 분석함.
• SLMs는 개인정보 보호가 중요한 로컬 환경에서 경쟁력 있는 성능을 제공함을 입증함.
• 모델 기반 판정(model-based judging)은 전문가 평가 대비 체계적인 불일치 및 편향을 보임.
• 언어 모델을 자동화된 '제한적 보조자(bounded assistants)'로 활용하고 Human-in-the-Loop 접근 방식을 강화해야 함.
• 교육 문항 생성 시 품질, 신뢰성, 배포 제약 조건 간의 트레이드오프를 고려하는 것이 중요함.