브라운 대학교 교수의 과제 제출(take-home) 시험 평균 점수는 96%였으나, 감독 하에 치러진 기말고사에서는 48.6%로 떨어졌으며, 학생 86명 중 18명이 해당 강좌를 포기한 것으로 보아 광범위한 AI 부정행위가 있었음을 시사합니다.

브라운 대학교 경제학 교수인 Roberto Serrano는 과제 제출 시험 점수가 평균 96%였던 것을 확인했습니다. 그가 감독 하의 기말고사로 방식을 변경하자, 평균은 48.6%까지 급락했고, 학생 86명 중 18명이 강좌를 포기했습니다.

주요 사실 요약

• 과제 제출 시험 평균: 96%, 대면 기말고사: 48.6%로 하락.
• 방식 변경 후 학생 86명 중 18명이 강좌 포기.
• 학생 19명은 감독 하의 기말고사에서 아예 낙제.
• 중국 연구는 30개월 동안 26,000명 이상의 학생을 추적함.
• 해당 연구에서 숙제 점수는 18% 상승했으나, 시험 점수는 20% 하락함.

브라운 대학교 경제학 교수인 Roberto Serrano는 자신의 학생 86명 대부분이 시험에서 AI를 이용해 부정행위를 했다고 믿습니다. 이 시험은 과제 제출 형태였으며, 수업 평균은 96%였습니다. 역사적으로 이 수치는 65%에서 80% 사이를 오갔습니다. Serrano가 질문들을 ChatGPT에 입력하자 거의 동일한 답변을 얻었습니다. 많은 학생들이 명확한 직접 접근 방식보다는 ChatGPT 역시 선택했던 복잡한 수학적 증명을 사용했습니다. The Decoder에 따르면

Serrano는 학생들에게 경고하고 기말고사를 감독 하의 대면 시험으로 변경했습니다. 그 결과가 그의 주장을 입증했습니다. 18명의 학생이 강좌를 포기했고, 심지어 9명은 시험에 나타나지도 않았습니다. Inside Higher Ed에 따르면 평균 점수는 48.6%로 떨어져 해당 강좌 역사상 최악의 결과를 기록했습니다. 소수의 학생만이 과제 제출 결과와 근접한 점수를 받았습니다. 학생 19명이 아예 낙제했습니다. Serrano는 중간고사를 무효화하고 기말고사 비중을 전체 학점의 80%로 조정했습니다.

세라노에 따르면 대학의 대응은 '미흡'했으며, 행정가들은 그에게 부정행위 사례를 개별적으로 보고하라고 지시했습니다. 그는 이를 '터무니없다'고 여겼습니다. 그는 더 강력한 입장을 원합니다. 그는 "우리의 최고의 젊은 인재 중 상당 부분이 부정행위가 괜찮다고 생각하는 사회를 감당할 수 없습니다"라며, "그것은 쇠퇴하는 사회, 실패하는 사회로 이어집니다... 우리는 바보가 되기로 선택할 수 없습니다."라고 말했습니다. 추가 논의는 계속 진행 중입니다.

패턴 뒤에 숨겨진 데이터

세라노의 사례는 유일하지 않습니다. 두 가지 최근 연구에서 같은 현상을 보여줍니다: 좋은 숙제 성적, 나쁜 시험 점수. 중국 중부의 한 연구는 30개월 동안 7학년부터 12학년까지 26,000명 이상의 학생들을 추적했습니다. 학생들이 AI 사용을 시작한 6개월 후, 숙제 점수는 18퍼센트 상승한 반면 완료 시간은 64분에서 45분으로 감소했습니다. 시험 점수는 20퍼센트 하락했습니다. 입학시험의 장기적인 손실 폭은 18퍼센트에서 24퍼센트 사이였으며, 전체 효과가 나타나기까지는 약 2년이 걸렸습니다. 장기간 AI를 사용한 학생 중 약 81퍼센트가 더 빠른 숙제 완료와 낮은 시험 성과라는 패턴에 부합했습니다.

2025년에 발표된 UC Berkeley의 연구에 따르면, ChatGPT를 숙제에 사용한 학생들은 과제 점수에서는 812퍼센트 높았지만 감독관 입회 하에 치러진 시험(proctored exams)에서는 1520퍼센트 낮았습니다. 이러한 효과는 경제학이나 공학 같은 정량적 분야에서 가장 강력했습니다. 브라운 대학교의 사례는 이러한 연구 결과를 반영하며, 이 패턴이 일화적인 것이 아니라 구조적인 것임을 시사합니다.
AI 부정행위는 도덕적 위기가 아닌 측정(measurement)의 위기입니다.

브라운 대학교 사례는 종종 부정행위 스캔들로 포장되지만, 실제 이야기는 평가 설계의 실패입니다. 과제(homework)가 감독 없이 진행되고 AI 도구가 어디에나 존재할 때, 성적의 신호 대 잡음비(signal-to-noise ratio)가 무너집니다. 96%라는 평균 점수는 학습 정도를 측정한 것이 아니라 학생들이 ChatGPT에게 프롬프트를 얼마나 잘 입력했는지를 측정한 것입니다. 감독이 이루어진 기말고사에서 나온 48.6%가 진정한 이해도에 더 가까울 가능성이 높습니다. AI 탐지 기능 없이 과제 제출(take-home assignments)에 의존하는 대학들은 학생 성과에 대해 오해를 불러일으키는 데이터를 생성하고 있습니다. 중국 연구에서 그 효과가 완전히 나타나는 데 2년이 걸린다는 점은 문제가 복합적으로 작용하고 있음을 시사합니다. 즉, 초기 수업에서 학습량이 적었던 학생들이 나중 수업에서는 AI에 더욱 의존하게 되어 학위(credential)와 역량(competence) 사이의 격차를 넓히게 될 것입니다.

주목할 점

다른 대학들이 특히 정량적 분야(quantitative fields)에서 감독 시험이나 AI 탐지 소프트웨어를 표준 관행으로 채택하는지 지켜봐야 합니다. UC Berkeley 연구의 전체 데이터셋이 올해 말 공개되면 어떤 학문 분야가 가장 큰 영향을 받았는지 더 세밀한 데이터를 제공할 것입니다.

출처: the-decoder.com

원래 gentic.news에 게재됨