AIriskEval-edu: K-12 교육용 설명 내 AI 매개 위험 평가를 위한 새로운 데이터셋
요약
K-12 교육용 콘텐츠의 교수법적 위험을 평가하기 위한 새로운 데이터셋 AIriskEval-edu-db2를 소개합니다. LLM 기반 감사인을 훈련하기 위해 사실적 정확성, 편향성 등 5가지 차원의 위험 루브릭과 설명 가능성 주석을 포함합니다.
핵심 포인트
- K-12 교육용 설명 내 AI 매개 위험 평가를 위한 데이터셋 제안
- 사실적 정확성, 학생 수준 적절성 등 5가지 교수법적 위험 차원 정의
- 위험 국지화 및 설명을 포함한 구조화된 주석 데이터 제공
- Llama 3.1 8B 등 로컬 모델의 교육 감사 성능 검증
본 연구는 K-12 학년 대상의 교육용 콘텐츠 내에서 설명 가능한 교수법적 위험 평가(pedagogical risk assessment)를 위해, LLM 기반의 감사인(auditors)을 훈련하고 평가하도록 설계된 새로운 데이터셋인 AIriskEval-edu-db2를 소개합니다. 이 데이터셋은 과학, 언어 예술(language arts), 사회 과학을 아우르는 170개의 엄선된 ScienceQA 질문으로부터 추출된 1,639개의 설명을 포함하고 있습니다. 각 질문에 대해, 이 데이터셋은 인간 교사가 작성한 설명과 함께, 서로 다른 교수법적 위험(pedagogical risks)과 연관된 LLM 시뮬레이션 교사 프로필이 생성한 11개의 설명을 포함합니다. 우리는 사실적 정확성(factual precision), 깊이 및 완전성(depth and completeness), 초점 및 관련성(focus and relevance), 학생 수준 적절성(student-level appropriateness), 이데올로기적 편향(ideological bias)의 다섯 가지 상호 보완적인 차원을 다루며, 확립된 교육 표준에 부합하는 포괄적인 위험 루브릭(risk rubric)을 제안합니다. 주요 기여 중 하나는 위험 국지화(risk localization) 및 위험 설명을 포함하여 구조화된 설명 가능성 주석(explainability annotations)이 달린 785개의 설명을 추가한 것입니다. 이 주석들은 전문가 교사의 검증을 거친 반자동 프로세스를 통해 생성되었습니다. 마지막으로, 우리는 최첨단 독점 모델(proprietary models)과 경량 로컬 Llama 3.1 8B 모델을 교수법적 위험 탐지 및 설명 가능성 평가 모두에서 비교하는 검증 실험을 제시합니다. 이러한 실험은 AIriskEval-edu-db2에 대한 지도 미세 조정(supervised fine-tuning)이 교육 감사 및 평가 작업에서 프라이버시를 유지하면서도, 로컬에 배포 가능한 모델이 더 강력한 프런티어 모델(frontier models)에 근접하거나 이를 능가할 수 있게 하는지를 평가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기