6개 AI 모델이 평가한 학생 에세이, 학생의 단어를 정확하게 인용했을까? 이번에도 세 가지 예측이 모두 유효했다

요약

본 연구는 여섯 개의 LLM이 학생 에세이에 대한 피드백을 제공할 때 인용구의 정확성을 분석했습니다. 전체적으로 인용된 단어 중 1.18%가 변경되었으며, 모델 크기보다는 명령어 기반으로 튜닝된 전문 교육 모델이 가장 충실한 결과를 보였습니다.

핵심 포인트

• LLM 피드백 인용구의 단어 변경률은 전체적으로 낮다 (1.18%).
• 모델의 크기보다 특정 목적에 맞춰 튜닝된 모델을 측정해야 한다.
• 교육 특화 모델(LearnLM)이 가장 충실하게 원문을 인용하는 경향을 보였다.
• 짧은 인용구(4~6단어)가 긴 인용구보다 단어를 더 많이 변경시켰다.