보통 프로그래밍에 대한 첫 수업이나 강의 중에, 나는 학생들에게 학습과 코드 작성에 AI를 사용해서는 안 된다고 말합니다. 이것이 신네오 러다이트주의 (neo-Luddism)의 발현일까요?

이 주제를 이해하기 위해, 나는 AI 사용의 효과성에 관한 대학 및 연구 센터의 연구들을 꽤 많이 읽어보았습니다.
아주 짧게 요약하자면 — AI 때문에 당신은 더 똑똑해지고 있고, 정보와 결과물을 더 빠르게 얻고 있다고 느끼게 되는데 — 그것은 사실입니다. 하지만 며칠이 지나면, 반대로 당신은 더 멍청해지고, 습득한 지식의 대부분을 잃게 되며, 추가적으로 당신 자신의 뇌의 인지 능력과 복잡한 문제를 해결하려는 의지력마저 악화됩니다.
만약 당신의 뇌와 의지력이 2026년까지 신경망 슬롭 (neural-slop)의 맹공을 견뎌낼 만큼 훌륭하다면 — 당신이 전체 기사를 읽어보기를 권하며, 혹시 알까요, 그것이 당신의 자기 교육 (self-education)에 대한 접근 방식을 바꿀지도 모릅니다.

학습된 무기력 (Learned Helplessness)

MIT Media Lab 연구 — 이 대학은 54명의 학생을 3개의 서로 다른 그룹으로 나누었습니다. 첫 번째 그룹은 LLM을 사용하여 에세이를 작성했고, 두 번째 그룹은 인터넷 검색을 사용했으며, 세 번째 그룹은 완전히 스스로 작성했습니다.

이 연구는 4개월 동안 진행되었으며, 각 에세이를 작성한 후 학생들의 뇌 활동을 분석했습니다. 대뇌 피질 (cerebral cortex)의 각 부위의 활동, 저자 의식 (sense of authorship), 그리고 작성한 내용을 최소한 대략적으로라도 다시 반복할 수 있는 능력을 분석했습니다. 3개월 동안 세 번째 그룹은 인터넷에 접속할 수 없는 상태에서 시행착오를 거치며 에세이 작성을 연습했습니다. 반면, 첫 번째 그룹은 더 높은 품질의 결과물을 만들어내기 위해 AI를 보조자이자 교사로 사용할 수 있었습니다. 실험 시작 직후부터 첫 번째 그룹이 뇌를 훨씬 덜 사용한다는 사실이 분명해졌으며, 어려움을 극복하지 않고서는 우리 뇌에 새로운 신경 연결 (neural connections)이 형성되지 않습니다. 그리고 3개월 후, 이 그룹들의 역할이 바뀌었을 때 — 즉, AI에 의존하던 학생들이 스스로 에세이를 작성했을 때 — 그들의 결과는 처음부터 스스로 작성해 왔거나 검색 엔진을 사용했던 학생들보다 10배나 더 나빴습니다.

재앙의 규모를 이해하는 데 도움을 드리자면, AI 그룹에서는 참가자의 83%가 질문을 받기 불과 몇 분 전에 작성을 마친 자신의 에세이에 대해 아무것도 기억하지 못했습니다. 반면 다른 그룹들의 경우, 이 비율은 약 10%였습니다 (이 또한 높은 수치이지만, 요구 사항이 결코 쉽지 않았던 것으로 보입니다).

또한 검색의 도움을 받아 글을 쓰는 것이 독립적인 작업보다 효과가 떨어지는 것으로 나타났다는 점도 흥مل로운 사실입니다.

많은 사람이 이 연구와 유사한 연구들을 비판한다는 것을 알고 있습니다. 예를 들어, 그들은 적은 표본 크기를 지적합니다. 또한 AI를 사용하는 과정, 모델, 어떤 프롬프트 (prompts)가 사용되었는지 등이 완전히 명확하지 않습니다. 또한 이에 대한 반론으로, 학습에 있어 AI의 이점을 보여주는 논문들도 존재합니다. 다음으로, 그중 몇 가지를 살펴보겠습니다.

교육에서 AI의 허울뿐인 이점

최근의 Harvard 연구는 실시간의 능동적인 교실 수업(active classroom sessions) 대비 AI 튜터(AI tutor)의 이점을 보여주었습니다. 능동적인 수업은 강의(lectures)가 아니라 토론(discussion), 논쟁(debates), 그룹 활동(group work)이 포함된 수업을 의미하며, 가장 훌륭한 교육학적 관행(pedagogical practices) 중 하나로 간주됩니다.

실험을 위해 물리학과 학생 184명이 선정되었습니다. 이들은 먼저 테스트를 통과한 후, 2주 동안 절반은 교실에 출석하고 나머지 절반은 집에 머물며 AI와 함께 학습했습니다. 2주 후 이들은 다시 테스트를 치렀으며, 그 결과 AI 그룹은 학습에 소비하는 시간이 20% 적으면서도 결과는 약 20% 더 좋게 나타났습니다.

이것만 보면 AI가 지배하는 세상이 왔으며, 교사들은 배달원이 되어야 할 때처럼 보일 것입니다. 하지만 시험만을 위해 특별히 준비한 학생들이, 토론과 논쟁을 병행하며 과목 전체를 포괄적으로 공부하느라 암기(cramming)할 시간을 빼앗긴 학생들보다 시험 성적이 더 좋게 나온 사실은 전혀 놀라운 일이 아닙니다. 공정하게 말하자면, 이 2주 동안 단순히 질문과 답변이 적힌 종이 한 장만 읽은 그룹을 대조군으로 삼았어야 했습니다. 분명 그 그룹의 결과가 가장 높았을 것입니다.

J-PAL MIT의 사례는 또 다른 문제를 안고 있습니다. AI 기반 학습 플랫폼을 이용할 수 있었던 브라질 초등학생들은 그렇지 못한 학생들보다 평균 9% 더 나은 성과를 보였습니다. 하지만 문제는 이 플랫폼이 단순한 AI가 아니라는 점입니다. 이는 학습 프로그램과 AI가 결합된 완전한 형태의 LMS (Learning Management System, 학습 관리 시스템)입니다. 이 경우, AI는 전혀 긍정적인 역할을 하지 않았을 수도 있으며, 브라질 시험을 위한 준비 프로그램이 존재한다는 사실 자체가 해당 프로그램이 없는 학생들보다 자연스럽게 우위를 점하게 했을 가능성이 큽니다. 많은 기업이 이와 같이 허수아비(straw man)를 만들어냅니다.

예를 들어, Embry-Riddle 연구 (2026)는 AI를 사용한 학생들의 엄청난 진전을 보여주었습니다. 이 연구는 사실 매우 전형적인 사례입니다. 내용을 더 자세히 읽어보면, 해당 연구의 대조군(control group)은 전혀 공부하지 않았고 어떤 과업도 수행하지 않았다는 사실이 드러납니다. 즉, AI의 도움을 받아 공부한 그룹이 이 대조군에 비해 상대적으로 승리했을 뿐이라는 것입니다. 돌보다 앞서 나갔다니 — 참 잘한 일이군요.

계산기 효과 (The Calculator Effect)

저는 또한 "계산기도 한때는 거부당했었다"와 같은 의견을 자주 봅니다. 저는 단 한 가지만 말하고 싶습니다. 그들은 정확히 옳은 일을 했습니다.

러시아와 중국은 여전히 학교와 대학교 모두에서 수학 시간에 계산기 사용을 허용하지 않습니다. 그리고 이 국가들의 기초 수학 수준은 계산기를 허용했던 국가들보다 훨씬 강력합니다 (이는 OECD의 세계 PISA 순위를 통해 명확히 확인됩니다).

동시에 계산기 자체가 금지된 것은 아닙니다. 물리, 화학, 생물학에서 사용할 수 있으며, 나중에 직장에서도 사용할 수 있습니다.

계산기를 거부하지 않았던 이들은 이미 후회하고 있으며, 일부 국가들은 현재 이를 되돌리고 있습니다. 예를 들어, 영국은 아이들이 계산하는 법을 잊어버렸기 때문에 초등학교에서 계산기 사용을 공식적으로 금지했습니다. 미국에서도 수학 수준이 재앙적일 정도로 낮으며, 서구의 교사들 스스로도 이 실수를 인정하고 있습니다.

만약 들어본 적이 없다면, Bastani et al.의 "숙달의 환상 (illusion of mastery)"에 관한 학교 RCT (무작위 대조 시험) 실험과, "거짓말하는 계산기 (lying calculator)" 실험 및 "계산기 효과 (calculator effect)"가 무엇인지에 대해 읽어보기를 권합니다. 여기에는 AI와 매우 유사한 점이 많으며, 이는 RAND Corporation의 대규모 분석을 통해서도 확인되었습니다.

저는 오늘 모든 사람이 AI를 포기하라고 말하는 것이 아닙니다. 아닙니다. 저는 AI 기업들이 즐겨 쓰는 무의미한 문구인 신경망을 "합리적으로 (rationally)" 사용하는 것에 대해서도 주장하는 것이 아닙니다. 저는 계산기 시대에 이미 증명된 간단한 해결책을 제시합니다. 특정 전문 분야(예: 프로그래밍)를 학습하는 동안에는, 해당 전문 분야와 관련된 문제를 해결하기 위한 AI 사용을 완전히 금지해야 합니다.

AI는 계산기가 아닙니다. AI는 모든 과목을 한꺼번에 다루기 때문에, 각 개별 과목에 따라 금지 사항이 달라집니다. 생물학에서는 생물학 문제를 푸는 데 AI를 사용할 수 없지만, 예를 들어 문헌을 찾는 용도로는 사용할 수 있습니다. 제 논리를 이해하셨으리라 생각합니다.

따라서 학습 중인 과목의 핵심 부분에서 AI의 도움을 거부함으로써, 추가적인 학문 분야나 개인적인 용도로 정보를 빠르게 검색하는 형태의 혜택은 신경망으로부터 얻되, 자신이 발전시키고자 하는 영역에서 뇌를 "액화 (liquefy)"시키지는 않을 것입니다.

결론

1. 에세이를 쓰든 코드를 짜든, 학습 과제를 해결하기 위해 AI를 사용하는 것은 당신을 눈에 띄게 더 멍청하게 만들고 복잡한 과제 앞에서 무력하게 만듭니다.
2. AI와 함께 공부하는 것은 완전히 아무것도 하지 않는 것보다는 나으며, 강의를 듣는 것보다 시험 준비를 약간 더 효과적으로 하는 데 사용할 수도 있습니다.
3. 뇌를 잃지 않기 위해서는 — 당신이 공부하고 있는 영역에서 AI 사용을 거부해야 합니다.

수학 시간에 계산기를 가져가지 마세요).

추신: 나는 신경망 (Neural Networks) 없이 이 포스트를 작성했습니다. 왜냐하면 나는 단순히 지금 당장 최선의 결과를 얻는 것이 아니라, 포스트를 쓰는 법을 배우고 싶기 때문입니다.