AI는 '최강이자 최악의 과외 선생님'이다 - Anthropic의 실험에서 생각하는, 성장하는 학생의 듣기 방식

상상해 보세요. 당신 옆에 과외 선생님이 앉아 있습니다.

이 선생님은 정말 대단합니다. 수학이든 영어든 프로그래밍이든, 어떤 문제가 나와도 몇 초 만에 풀어냅니다. 밤 11시에 불러내도 불만 가득한 표정 없이, 같은 질문을 100번 해도 화를 내지 않습니다.

월급은 점심 식사 몇 번 값 정도입니다. 심지어 공짜로 와줍니다. 이런 선생님이 있다면, 당신의 성적이 오를까요?

제목에서 스포일러했지만, 이 과외 선생님은 이미 당신 옆에 있습니다. ChatGPT나 Claude, Copilot 같은 생성형 AI(Generative AI)가 바로 그것입니다.

그리고 안타까운 소식이 하나 있습니다. 이 최고의 선생님에게는 치명적인 결점이 하나 있다는 것입니다.

질문하면 답을 전부 알려주는 것.

장점만 들리죠? 하지만 사실 이것이야말로 학생이 정체되는 원인일 수 있습니다.

여기, 같은 과외 선생님을 가진 두 명의 학생이 있습니다. 숙제 3번 문제에서 둘 다 똑같은 부분에서 막혔습니다.

A 군: "선생님, 3번 답이 뭐예요?"
선생님: "x = 4야."
A 군: "감사합니다"(노트에 베껴 적는다)

B 양: "3번 문제는 중간까지 풀었는데, 여기서부터가 안 돼요..."
선생님: "2번째 줄의 이항(移項), 다시 한번 봐봐."
B 양: "...아, 부호구나!"

숙제를 빨리 끝내는 건 A 군입니다. 하지만 시험에 3번과 비슷한 문제가 나오면, 풀어낼 수 있는 건 B 양일 겁니다. 시험장에는 과외 선생님을 데려갈 수 없기 때문이죠.

여기까지는 누구나 아는 이야기입니다. 그런데 상대가 AI가 되면, 우리는 놀라울 정도로 자연스럽게 A 군이 됩니다.

나: "이 에러 고쳐줘."
AI: "수정된 코드는 여기예요."
나: "작동했네. 다음."

과제는 끝납니다. 하지만 무엇 때문에, 왜 작동했는지에 대한 것은 자신 안에 아무것도 남지 않습니다.

'아니, 이건 비유잖아.'라고 생각하신 분도 계실 겁니다. 사실 이것은 AI를 개발하는 회사들이 거의 같은 구도로 실험하고 있는 내용입니다.

Claude를 개발하는 Anthropic이 2026년 1월에 다음과 같은 실험을 발표했습니다.

참가자는 파이썬(Python)을 1년 이상, 주 1회 이상 사용한 엔지니어 52명이었습니다. 모두가 다뤄본 적 없는 'Trio'라는 비동기 처리 라이브러리(asynchronous processing library)를 그 자리에서 외우면서 과제 2개를 수행하게 했습니다.

절반인 26명에게는 AI 어시스턴트가 제공되었습니다. 요청만 하면 정답 코드를 언제든 통째로 써주는, 말 그대로 '모든 답을 알려주는 과외 선생님'입니다. 나머지 26명은 문서(document)와 웹 검색만으로 도전했습니다.

과제가 끝나자마자 AI 없는 이해도 테스트를 진행했습니다. 과외 선생님은 시험장에 들어갈 수 없기 때문입니다.

테스트 평균 점수(100점 환산)는, AI가 없는 그룹이 67점인 데 반해, AI가 있는 그룹은 50점이었습니다. 성적 차이로 보면 거의 2단계 정도의 차이입니다.

반면, 과제에 걸린 시간은 AI가 있는 쪽이 평균적으로 약 2분 빠를 뿐이었습니다. 통계적으로 의미 있는 차이는 아니었습니다. 숙제가 대단히 빨리 끝난 것이 아니라, 테스트 점수만 확실하게 떨어진 것입니다.

끝나고 난 후, AI가 있던 그룹에서는 "어시스턴트를 쓰니 게을러졌다"는 소감도 나왔습니다.

차이가 가장 컸던 것은 디버깅(debugging) 문제였습니다. AI가 없었던 사람들은 과제 중에 에러를 여러 번 내면서 스스로 고치고 있었고, 그 경험이 효과를 발휘했다고 연구팀은 보고 있습니다.

정말 흥미로운 부분은 여기서부터입니다. 연구팀은 AI가 있던 그룹의 화면 녹화 영상을 한 명씩 보며, AI 사용 방식을 6가지 패턴으로 분류했습니다. 대략적으로 한국어로 설명하면 다음과 같습니다.

이해하며 사용할 경우 평균 6586점, 의존할 경우 2439점

AI가 있던 그룹의 사용 방식 6가지 패턴별 이해도 테스트 평균 점수(100점 환산)입니다. 비교를 위해 AI가 없던 그룹의 평균은 67점이었습니다.

출처: Shen & Tamkin "How AI Impacts Skill Formation" (2026) 그림 11 ・ 각 패턴 2~7명

점수가 낮았던 3가지 패턴은 모두 '생각하는 과정' 자체를 AI에게 넘겨버린 경우입니다. 그중 가장 손해를 본 것은 에러 메시지를 붙여넣고 고쳐달라고 하는 유형이었습니다.

질문 횟수는 많았지만, 과제에 걸린 시간은 AI가 없던 사람들보다 길었고, 점수는 최하위였습니다. 빨간 펜으로 여러 번 교정을 받아도 아무것도 기억하지 못한 학생입니다.

점수가 높았던 3가지 패턴은, AI를 사용하면서도 이해하는 작업만은 놓지 않았습니다. 생각하는 방식만 물어보는 유형은 에러에 많이 부딪히면서 스스로 고치고, 그럼에도 불구하고 고득점 그룹 중 가장 빠르게 끝냈습니다.

그리고 최고의 86점을 받은 것은, 놀랍게도 AI에게 코드를 작성하게 한 사람들이었습니다. 하고 있는 일 자체는 39점의 모든 것을 맡기는 그룹과 거의 같습니다. 차이는 단 하나, 코드를 받고 난 후에 "왜 이렇게 짜요?"라고 되물어 자신의 이해를 확인했다는 점이었습니다.

참고로, AI 코드를 복사해 붙여넣은 사람과 직접 타이핑한 사람 사이에서는 테스트 점수에 눈에 띄는 차이가 없었습니다. 답을 노트에 깔끔하게 베껴 적어도 머릿속으로 생각하지 않으면 습득되지 않습니다. 이는 과외 선생님 세계에서 흔히 듣는 이야기입니다.

물론, 각 패턴은 2~7명씩과 같이 소규모였고(86점 패턴은 단 2명), 연구팀 역시 '이런 방식으로 사용하면 점수가 올라간다'라는 인과관계를 주장하고 있지는 않습니다. 그럼에도 불구하고, 무엇을 듣느냐에 따라 결과가 이렇게 갈리는 것은 상당히 충격적입니다.

"하지만 직장은 시험이 아니잖아요. 답만 나오면 되잖아요."

그 말이 맞습니다. 성과를 내는 것이 일이라면, AI에게 정답을 묻는 것은 오히려 올바른 사용법일 수 있습니다. 다만, 사회인에게도 테스트 날은 있습니다. 게다가 예고 없이 말입니다.

예를 들어 심야의 실전 장애 상황 같은 경우입니다. AI의 제안을 3가지 시도해도 해결되지 않아 로그를 읽고 스스로 가설을 세울 수밖에 없는 순간이 옵니다. 코드 리뷰에서 "여기, 왜 이렇게 작성했어?"라고 질문받았을 때도 마찬가지입니다.

가장 무서운 것은 AI가 자신만만하게 틀렸을 때입니다. 이해하는 학생이라면 "선생님, 거기 다르지 않나요?"라고 말할 수 있지만, 베껴 적기만 하는 학생은 오류까지 그대로 베껴 적어버립니다.

이런 날에 시험받는 능력은, AI가 작성한 코드를 읽고 의심하며 고장 난 이유를 찾아내는 힘입니다. 앞서 실험에서 AI에게 의존했던 사람들이 가장 점수를 많이 잃었던 부분이 바로 디버깅이었습니다.

AI가 코드를 쓸수록, 인간에게 남겨지는 일은 리뷰와 디버깅 쪽으로 기울어집니다. 그 능력이 AI에만 의지하는 학습 방식으로는 가장 잘 자라나기 어렵습니다. 참 아이러니한 구도입니다.

여기까지 읽고 '그럼 전부 스스로 하라는 거야?'라고 생각했을 수도 있습니다. 그렇지 않습니다.

계산기를 쓸 때마다 죄책감을 느끼는 사람은 없습니다. 손으로 계산하는 능력을 키우고 싶은 것이 아니기 때문입니다. AI도 마찬가지로, 키우고 싶지 않은 것은 거리낌 없이 맡겨도 괜찮습니다.

중요한 것은 자신의 '수험 과목'을 정해두는 것입니다. 수험 과목이란 앞으로도 자신의 무기로 삼고 싶은 영역을 말합니다. 그 부분만은 B님처럼 생각하고 물어보고, 나머지는 A군처럼 답을 받아도 괜찮습니다.

예를 들어 프론트엔드를 극도로 하고 싶은 사람이, 일 년에 한 번밖에 쓰지 않는 셸 스크립트를 AI에게 통째로 던져주는 것은 전혀 문제가 없습니다. 하지만 React의 상태 설계까지 매번 통째로 맡긴다면, 그것은 수험 과목의 답을 베껴 적는 상태입니다.

참고로 신입이나 학생일 때는 거의 모든 과목이 수험 과목입니다. 그리고 베테랑도 새로운 기술을 배울 때에는 수험생으로 돌아갑니다. 앞서 실험에서도 경력 7년 이상인 사람을 포함해 어떤 경력 연수에서든 AI 없이 하는 것이 평균 점수가 높았습니다.

그렇다고는 해도, 왜 AI를 상대할 때는 우리가 이렇게 쉽게 A군이 되어버리는 걸까요? 앞선 논문도 인간에게 배울 경우와의 비교는 향후 과제로 두고 있습니다. 따라서 여기부터는 저의 추측이지만, 이유는 3가지가 있다고 생각합니다.

좋은 과외 선생님일수록 바로 답을 주지 않습니다. "먼저 스스로 해봐", "어디까지 이해했니?"라며 일부러 학생에게 생각하게 만듭니다. 가르치는 전문가에게는 조용히 기다리는 것도 중요한 기술입니다.

AI는 다릅니다. "고쳐줘"라고 하면 고치고, "써줘"라고 하면 써줍니다. 요청받은 것에 전력으로 응답하도록 만들어져 있기 때문입니다.

최근의 에이전트형 툴은 더욱 친절합니다. 숙제를 푸는 정도를 넘어 노트에 직접 적어 제출까지 완료해 줍니다. 실제로 앞서 연구팀도 자율적으로 코드를 작성하는 툴이라면 스킬 습득에 미치는 영향이 더 클 것이라고 언급했습니다.

인간 선생님에게 매번 "답만 주세요"라고 말하기는 조금 꺼려집니다. 선생님의 작은 한숨 소리가 들리는 것 같아, 일단 스스로 생각해 보게 됩니다. 이 어색함이 사실은 좋은 브레이크가 되고 있었습니다.

AI에는 그런 것이 없습니다. 100번째 "고쳐줘"에도 첫 번째와 같은 태도로 응답해 줍니다. 어려운 질문을 할 수 있다는 것은 AI의 큰 장점이지만, 브레이크가 사라진다는 의미에서는 양날의 검입니다.

인간 과외 선생님은 설명 후에 "그럼 비슷한 문제를 풀어봐"라며 확인합니다. 학생의 '알고 있는 척'을 간파하기 위해서입니다.

AI는 우리가 요청하지 않는 한 확인해주지 않습니다. 그래서 대화가 끝난 시점에서는 '이해한 것 같은 느낌'만 남습니다. 하지만 답을 읽고 납득하는 것과 스스로 풀 수 있는 것은 완전히 다른 힘입니다.

즉, AI는 지식은 최강이지만, 선생님으로서의 '엄격함'을 처음부터 가지고 있지 않은 과외 선생님인 셈입니다. 제목에서 "최강이자 최악"이라고 쓴 것이 바로 이 의미입니다. 부족한 엄격함은 학생 측이 가져와야만 합니다.

가져오는 방법은 어렵지 않습니다. 요청하는 방식 하나로 AI는 엄격한 선생님도 되어줄 수 있습니다. 수험 과목에서 그대로 사용할 수 있는 요청 방식 4가지를 소개합니다.

우선 자신의 생각을 먼저 적어봅니다. 맞는 부분과 벗어난 부분만 알려주세요. 수정된 코드는 아직 작성하지 마세요.

이것은 스스로 풀어본 후에 채점받는 방식입니다. MIT의 연구(54명의 뇌파를 측정하며 에세이를 쓰게 한 실험)에서도 순서의 중요성을 알 수 있는 결과가 있습니다. 처음에는 자력으로 쓰고, 나중에 ChatGPT를 사용한 사람들은 기억의 인출이 잘 되었고, 뇌 활동도 활발했습니다.

반대로, 처음부터 ChatGPT로 작성한 사람들은 막 완성한 자신의 에세이를 정확하게 인용하는 것조차 어려워했습니다. 첫 시도에서 18명 중 15명이 제대로 인용하지 못했다고 합니다. 이는 과외 선생님에게 작문을 써준 학생이 제출한 작문의 내용을 말할 수 없는 경우와 같습니다.

답은 아직 말씀하지 마세요. 힌트를 딱 하나만 주세요. 모르면 다음 힌트를 부탁드립니다.

에러로 막혔을 때는, '원인 후보만 나열해 주세요. 수정된 코드는 작성하지 마세요'가 효과적입니다. 이는 실험에서 최하위권이었던 '에러를 붙여서 고쳐달라고 하는' 유형에서 벗어나기 위한 한마디입니다.

이 코드의 각 부분이 왜 이렇게 작성되었는지 설명해 주세요. 다른 방식이 아니라, 이것을 선택한 이유도 부탁드립니다.

86점이었던 패턴을 재현하는 것입니다. 급할 때는 답을 먼저 받아도 괜찮습니다. 대화를 끝내기 전에 이 한마디만 추가해주세요.

지금의 내용을 제가 이해하고 있는지 확인하고 싶어요. 확인 문제를 3개 내주세요. 정답 확인은 제가 답변한 후에 부탁드립니다.

인간 과외 선생님이 해주는 '그럼 비슷한 문제를 풀어봐'를, 우리가 요청하는 것입니다. 풀지 못한 문제가 그대로 다음에 물어볼 내용이 됩니다.

최근에는 처음부터 엄격한 선생님처럼 행동하는 모드도 있습니다. ChatGPT의 'Study Mode'는 바로 답을 내놓지 않고, 질문이나 힌트, 이해도 체크로 이끌어줍니다.

Claude Code에서는 /output-style learning으로 출력 스타일을 'Learning'으로 설정할 수 있습니다. 설계 판단이 필요한 몇 줄을 일부러 비워두고 TODO(human)이라고 적으면, 사용자가 작성할 때까지 기다려 줍니다. 마치 과외 선생님이 '여기는 네가 직접 써봐'라며 펜을 건네주는 느낌입니다.

평소 사용하는 AI라면, 커스텀 지침이나 프로젝트의 지시란에 이런 지도 방식을 적어두는 것도 방법입니다.

저는 지금 XX를 공부하고 있습니다. 이 분야의 질문에는 다음 방침으로 답변해 주세요.
・바로 답을 내놓지 말고, 먼저 힌트를 하나 주세요
・제가 제 생각을 쓰면, 맞는 부분과 벗어난 부분을 지적해 주세요
...

과외 선생님을 고용했다면, 처음에 '우리 아이에게는 이렇게 가르쳐주세요'라고 전달하는 것과 같습니다.

맨 처음 질문으로 돌아가 봅시다. 답을 뭐든지 알려주는 과외 선생님이 있다면, 성적이 오를까요?

답은 학생에 달려 있습니다. 같은 선생님, 같은 과제라도 평균 점수는 사용 방식에 따라 39점일 수도, 86점일 수도 있었습니다. 게다가 그 두 가지 사용 방식의 차이는 거의 '왜?'라고 되물어봤는지 여부뿐이었습니다.

AI는 당신을 똑똑하게 만들지도 않고, 망가지게 만들지도 않습니다. 결정하는 것은 대화를 끝내는 방식입니다. '움직였다. 다음'으로 마칠지, 아니면 '왜?'라는 한마디를 계속할지 말입니다.

다음번에 AI가 답을 주었을 때, 닫기 전에 딱 한마디만 추가해 보세요.

**

• しょうた: 'AI에 의존하면 정말 스킬이 떨어질까? Anthropic의 실험 결과를 쉽게 해설' (Zenn)
• Tsubasa: 'AI 때문에 우리는 정말 머리를 쓰지 않게 된 걸까? 【MIT 뇌파 연구 참조】' (Qiita)
• やす: '그 질문,