자동화된 단답형 채점에서의 품질 조건부 일치도: 중급 성능 저하 및 작업별 적응의 영향

자동화된 단답형 채점(ASAS)은 판별적이고 미세 조정된 모델에서 소수의 예시를 사용하는 대규모 언어 모델(LLMs)로 전환하고 있습니다. 이러한 패러다임은 LLM의 광범위한 세계 지식과 배포 용이성을 활용하지만, 제한적인 작업별 데이터는 복잡한 채점 작업에서의 정렬도를 떨어뜨릴 수 있습니다. 특히, 미묘한 해석을 필요로 하는 부분적으로 정확한 응답에 대한 채점에 미치는 영향은 아직 충분히 탐구되지 않았습니다. 우리는 다양한 모델의 작업별 적응 정도와 품질 조건부 채점 일치도 간의 관계를 조사합니다. 우리는 두 개의 개방형 생물학 문항에 대해 세 가지 LLM(GPT-5.2, GPT-4o, Claude Opus 4.5)을 소수 예시 모드에서, 미세 조정된 BERT 기반 인코더, 그리고 인간 전문가와 비교했습니다. 이 실험은 수백 개의 학생 응답과 생물학 교육 전문가가 제공한 정답 점수를 사용했습니다. 그 결과에 따르면, 인간 간의 일치도가 가장 높고 전체 품질 스펙트럼에 걸쳐 안정적입니다. 모든 AI 모델은 완전히 정확하거나 완전히 틀린 응답에서는 잘 수행하지만, 중급 범위의 응답에서는 상당한 성능 저하를 보였습니다. 이러한 중급 범위 성능 저하는 작업별 적응에 의해 조건화됩니다: 이는 예시가 적은 소수 예시 LLM에서 가장 심각하며, 작업별 데이터가 증가함에 따라 감소하고, 미세 조정된 인코더 모델이 가장 좋은 성능을 보였습니다. 이러한 중급 범위의 성능 저하는 이해도가 발달하는 학생이 만든 응답에 대한 불공정한 평가로 이어질 수 있습니다.

저희의 연구 결과는 특히 중급 범위 응답에 대한 품질 조건부 공정성(quality-conditioned fairness)의 중요성을 강조합니다.