PsyScore: 특성 적응형 에세이 채점 및 ZPD 스캐폴딩 피드백을 위한 심리측정 인지 프레임워크

효과적인 자동 에세이 채점 (Automated Essay Scoring, AES)은 신뢰할 수 있는 평가와 실행 가능한 교육적 피드백을 모두 지원할 것으로 기대됩니다. 그러나 기존의 접근 방식은 채점과 피드백을 별개의 구성 요소로 취급하는 경우가 많습니다. 즉, 신경망 채점 모델 (neural scoring models)은 해석 가능성이 제한적이며, 대규모 언어 모델 (Large Language Model, LLM) 기반의 피드백은 일반적으로 학습자의 숙련도 수준에 민감하게 반응하지 못합니다. 이러한 파편화 문제를 해결하기 위해, 본 연구는 공유된 잠재 능력 표현 (shared latent ability representation)을 통해 진단 평가와 교육적 스캐폴딩 (instructional scaffolding)을 통합하는 심리측정 인지 프레임워크인 PsyScore를 제안합니다. PsyScore는 세 가지 핵심 모듈로 구성됩니다: 첫째, 신경망 구조에 단계적 부분 점수 모델 (Graded Partial Credit Model, GPCM)을 통합하여 심리측정적 해석 가능성을 유지하면서 학생의 능력을 정밀하게 추정할 수 있는 특성 적응형 신경망 IRT 채점기 (Trait-Adaptive Neural IRT Scorer), 둘째, 진단된 능력 매개변수에 따라 멀티 에이전트 피드백 전략을 조건화하여 다양한 숙련도 수준에 따라 교육적 초점을 조정하는 ZPD 스캐폴딩 피드백 생성기 (ZPD-Scaffolded Feedback Generator), 셋째, 쌍체 선호도 판단 (pairwise preference judgements) 및 학생 수정 시뮬레이션을 통해 피드백 품질을 평가하는 다각적 피드백 평가 전략 (Multi-Perspective Feedback Evaluation Strategy)입니다. ASAP++ 데이터셋을 활용한 실험 결과, PsyScore는 경쟁력 있는 채점 성능을 달성하는 동시에 교육적으로 더 부합하는 피드백을 제공함을 입증하였습니다.