DistilBERT 기반 자동 에세이 채점(AES)에서 구성 불필요 소음(Construct-Irrelevant Noise)으로서의 인구통계학적

자동 에세이 채점 (Automated Essay Scoring, AES) 시스템은 채점 업무량을 관리하는 교사를 지원하고, 대규모 평가에서 보조 채점자 역할을 수행하기 위해 점점 더 많이 사용되고 있습니다. 인간의 채점은 학생의 인구통계학적 특성에 빈번하게 영향을 받지만, AES 모델을 학습시키는 데 사용되는 텍스트 입력과 인구통계학적 메타데이터를 통합하는 다양한 전략의 효능은 여전히 충분히 연구되지 않았습니다. 본 연구는 특정 멀티모달 융합 전략인 단순 메타데이터 연결 (naive metadata concatenation)이 DistilBERT 기반 AES 모델의 예측 정확도, 학습 수렴도 및 점수 균등성 (score parity)에 미치는 영향을 조사합니다. ASAP 2.0 데이터셋을 사용하여 베이스라인 모델과 단순 멀티모달 융합 전략을 사용하여 토큰화된 텍스트와 인구통계학적 메타데이터를 연결하여 학습된 실험 모델을 비교 분석하였습니다. 10-겹 교차 검증 (10-fold cross-validation)을 통해 평가한 결과, 인구통계학적 메타데이터와 입력을 조기 융합 (early fusion)하는 것이 모델의 전반적인 예측 정확도를 크게 저하시킨다는 사실이 밝혀졌습니다. 베이스라인 모델은 0.727의 이차 가중 카파 (Quadratic Weighted Kappa, QWK)를 달성했으나, 메타데이터를 통합했을 때 0.656으로 떨어졌습니다. 또한, 실험 모델은 베이스라인 모델(1.25)에 비해 더 높은 검증 손실 (validation loss, 1.29)을 보였습니다. 실험 모델은 채점 편향 (scoring bias) 또한 악화시켜, 19번의 테스트 중 점수 균등성 사례를 15개에서 12개로 감소시켰습니다.