학생이 그린 과학 모델에 대한 신뢰도 인지 자동 평가

학생이 생성한 그림은 차세대 과학 표준(NGSS)에 부합하는 모델링 기반 과제에서 학습자의 개념적 이해를 평가하기 위해 과학 교육 분야에서 널리 사용됩니다. 그러나 이러한 그림을 채점하려면 복잡한 시각적 표현을 해석하기 위한 전문가의 인간적 판단이 필요하며, 이는 교실 환경에서 대규모 평가를 구현하고 유지하는 데 많은 비용이 들게 합니다. 본 연구에서는 비전 기반 모델(vision-based model)을 사용하여 학생이 생성한 과학적 그림의 자동 채점을 연구합니다. 우리는 매개변수 효율적 적응(parameter-efficient adaptation)을 적용한 Vision Transformer (ViT)를 평가하고, 테스트 시간 예측 분포(test-time predictive distributions)로부터 응답 수준의 신뢰도를 도출하는 신뢰도 인지 채점 프레임워크(confidence-aware scoring framework)를 제안합니다. 이러한 신뢰도 신호는 높은 신뢰도를 가진 응답은 자동으로 채점하고, 불확실한 사례는 인간의 검토로 넘김으로써 선택적 자동화를 가능하게 합니다. NGSS와 일치하는 6개의 중학교 평가 항목에 대한 실험 결과, 제안된 접근 방식은 채점 신뢰도를 향상시키는 동시에 자동화 범위와 채점 위험 사이의 실질적인 절충안(trade-off)을 지원하며, 신뢰할 수 있는 교육 평가를 위한 신뢰도 인지 방식의 가치를 강조합니다.