RT @heynavtoor: University of Maryland는 2,379명의 학생이 있는 수업에서 AI 튜터를 테스트했습니다.
비교된 수업의 성적이 하락했습니다. 온라인 참여도는 급격히 떨어졌습니다.
첫 세대 학생들은 또래보다 더 큰 추정 학점 손실을 경험했습니다.
2025년 가을, 연구원들은 과정에 특화된 AI 튜터를 실제 학부 수업에 도입했습니다. 생물학, 컴퓨터 과학, 영어, 교육 및 공공 정책 등 다양한 과목을 가르치는 30명의 강사가 참여했습니다.
각 강사는 튜터 제공 여부에 따라 무작위로 배정되었습니다.
이 튜터는 학교의 과정 사이트에 배치되었으며, GPT-4o를 기반으로 작동했고 교사가 선택한 자료에서 정보를 가져올 수 있었습니다.
연구원들이 동일 과목의 섹션을 비교했을 때, 최종 성적은 100점 만점에 약 4점 하락했습니다. 이는 0.37 표준편차에 해당합니다.
전체 연구를 통틀어 추정된 하락 폭은 더 작았고 확실성이 떨어졌습니다. 숙제 점수에서는 명확한 개선이 나타나지 않았습니다.
온라인 과정 활동은 크게 감소했습니다.
학생들은 과정 페이지를 적게 방문했고, 과정 사이트에서 활동하는 날도 줄었습니다. 퀴즈와 토론을 포함한 기록된 참여도를 종합적으로 측정했을 때, 같은 과목 비교군 대비 0.90 표준편차만큼 하락했습니다.
이는 큰 폭의 감소입니다.
첫 세대 학생들의 추정 학점 손실은 다른 학생들보다 두 배 이상 많았지만, 연구원들은 통계적 확실성이 다양했음을 경고했습니다.
이제 특이한 점을 살펴보겠습니다.
튜터를 제공받은 학생 중 실제로 한 번이라도 사용한 학생은 약 15%에 불과했습니다.
그들이 요청한 내용 중 약 74%는 정보, 설명 또는 해결책을 찾는 것이었습니다. 약 11%는 연습 문제나 시험 대비를 요청했습니다. 스스로의 과제를 점검해 달라고 요청한 경우는 1% 미만이었습니다.
따라서 대부분의 학생들은 이 튜터를 사용하지 않았음에도 불구하고, 제공하는 것만으로도 같은 과목 비교군에서 성적 하락을 야기했습니다.
연구는 그 이유를 증명하지 못했습니다. 연구원들의 우려는 AI 튜터를 추가하는 것이 학생들이 이미 수행하던 학습의 일부를 대체할 뿐, 학업 성과를 향상시키지 못할 수 있다는 것입니다.
이전에 다뤘던 카네기 멜런(Carnegie Mellon)의 연구 역시 같은 점을 지적합니다. AI 접근 권한을 미리 받은 학생들이 숙제에서는 더 높은 점수를 받았지만, AI 없이 치른 시험에서는 뚜렷한 향상을 보이지 않았습니다.
AI를 활용해 좋은 숙제를 하는 것이 그것(AI가 없는 환경)에서의 더 나은 학습과 같지는 않습니다.