더닝-크루거 효과(Dunning-Kruger Effect), 이제 엔터프라이즈 규모로 나타나다

AI가 인간의 인지 능력을 저하시키는지 여부에 대해 다양한 관점의 연구들이 모이기 시작하고 있습니다. 올바른 대응은 공포에 빠지는 것도, 그렇다고 무시하는 것도 아닙니다.

"인지적 항복 (Cognitive surrender)"(특정 과업을 위해 자신의 사고를 AI에 완전히 외주 주는 것)이 이미 받아들여진 진실처럼 우리의 현재 시대정신에 스며들고 있으며, 연구자들은 이를 더 깊이 조사하기 시작했습니다. AI 도입 결정을 내리거나, 인력을 AI의 효과적인 사용법으로 교육하는 사람이라면 반드시 진지하게 주목해야 할 논문들이 몇 편 있습니다. 첫 번째 논문에서 MIT 미디어 랩(MIT Media Lab) 연구진은 54명의 참가자에게 EEG 헤드셋을 착용시킨 후, ChatGPT를 사용하거나, 검색 엔진을 사용하거나, 혹은 아무런 도구도 사용하지 않고 에세이를 쓰는 동안의 뇌 활동을 측정했습니다. [1] 두 번째로, MIT 슬론(MIT Sloan)의 시난 아랄(Sinan Aral)과 마이클 카오순(Michael Caosun)은 AI를 통한 생산성 향상이 어떻게 시간이 지남에 따라 합리적으로 기술 침식(skill erosion)으로 이어지는지를 보여주는 공식적인 경제 모델을 구축했습니다. 그들은 이를 "증강의 함정 (augmentation trap)"이라고 부릅니다. [2] 그리고 와튼(Wharton)의 스티븐 쇼(Steven Shaw)와 기디언 네이브(Gideon Nave)는 "인지적 항복 (cognitive surrender)"에 대한 구체적인 정의를 도입하고 탐구하는 세 가지 사전 등록된 행동 실험을 수행했습니다. 여기서 정의된 인지적 항복이란, AI가 확신을 가지고 명백히 틀렸을 때조차 비판적 검토 없이 AI의 결과물을 채택하는 측정 가능한 경향을 의미합니다. [3]

세 연구 모두 신뢰할 수 있습니다. 세 연구 모두 실재하는 무언가를 가리키고 있습니다. 그리고 세 연구 모두 사려 깊은 보도부터 히스테릭한 보도에 이르기까지 다양한 언론 보도를 생성해 냈습니다. MIT 미디어 랩 저자들이 공개적으로 반박하며 기자들에게 "stupid", "dumb", "brain damage"와 같은 단어를 사용하지 말아 달라고 명시적으로 요청했던 "ChatGPT가 당신의 뇌를 썩게 만들고 있다"와 같은 헤드라인들이 그 예입니다. 이 논문의 실제 발견은 보도된 내용보다 훨씬 더 흥미롭고 미묘하며, 상당히 더 실행 가능한 내용을 담고 있습니다.

지금은 신중하게 생각해야 할 시점입니다. 연구가 틀렸기 때문이 아니라, 리더들이 이 연구를 어떻게 해석하느냐에 따라 그들이 지성적으로 대응할지 아니면 반응적으로 대응할지가 결정될 것이기 때문입니다.

우리는 이 노래를 전에 들어본 적이 있습니다

플라톤의 《파이드로스(Phaedrus)》에서 소크라테스는 글쓰기가 기억력과 지혜를 파괴할 것이라고 주장합니다. 스승의 지도 없이 글을 읽는 학생들은 지식의 실체 없이 지식의 외양만을 축적하게 될 것이며, "대체로 무지함에도 불구하고 매우 박식한 것처럼 보일 것"이라고 말했습니다. 그가 두려워했던 메커니즘은 직접적이었습니다. 기억을 텍스트에 외주(outsource)하고, 연습을 덜 하게 되며, 결국 기억을 잃게 된다는 것이었습니다.

그의 말이 완전히 틀린 것은 아니었습니다. 우리는 기억보다는 외부 저장소에 의존합니다. 우리는 정보에 접근하는 것을 이해하는 것과 혼동하기도 합니다(인터넷이 얼마나 많은 '즉석 전문가'들을 만들어냈습니까? 우리 중 일부에게 이것은 정말이지 매우 유혹적인 함정입니다!). 하지만 그 두려움 아래에 진실이 자리 잡고 있었음에도 불구하고, 문명은 붕괴하지 않았습니다. 대신, 글쓰기는 개별적인 기억이 잃어버린 것 이상으로 보상하고도 남을 규모의 지식 축적을 가능하게 했습니다.

1970년대와 80년대의 계산기 논쟁도 동일한 구조를 가지고 있었습니다. 수학 교육자들은 동일한 직접적인 기계론적 논리로, 계산기를 사용하는 학생들은 산술 유창성(arithmetic fluency)을 결코 발달시키지 못할 것이라고 우려했습니다. 전미수학교사협의회(National Council of Teachers of Mathematics)는 10년 동안 제한 조치에 대해 논쟁했습니다. 일부 주에서는 저학년 단계에서 계산기 사용을 금지하기도 했습니다.

결과는 어떠했을까요: 일부 산술 유창성은 감소했습니다. 하지만 수학적 사고(mathematical thinking)가 붕괴한 것은 아니었습니다. 그것은 변화했습니다. 학생들은 긴 나눗셈에 쓰는 시간을 줄이는 대신 모델링(modeling)과 추론(reasoning)에 더 많은 시간을 할애했습니다. 재앙적인 버전은 결코 현실화되지 않았습니다. 하지만 모든 사람이 기본적으로 더 나은 수학자가 되는 장밋빛 버전 역시 나타나지 않았습니다. 중요한 것은 교육자들이 무엇을 보존하고 무엇을 놓아줄 것인지에 대해 얼마나 의도적(deliberate)이었느냐 하는 점이었습니다.

GPS와 공간 탐색 (spatial navigation) 또한 동일한 흐름을 따랐지만, 한 가지 차이점이 있었습니다. 여기서는 인지적 효과가 신경학적 수준 (neural level)에서 확인되었다는 점입니다. Maguire 등의 런던 택시 운전사 연구에 따르면, 능동적인 길 찾기 (wayfinding)를 통해 측정 가능한 수준의 해마 (hippocampal) 발달이 나타났으나, GPS에 의존하는 운전사들에게서는 이러한 발달이 나타나지 않았습니다. [4] 이 메커니즘은 이론적인 것이 아니었습니다. 뇌 스캔 (brain scans)을 통해 눈으로 확인할 수 있었습니다. 그럼에도 불구하고, 사람들이 재앙적인 수준으로 길을 잃는 일은 발생하지 않았습니다. 해당 기술은 보편성을 잃었지만, 기술을 연습하는 곳에서는 지속되었으며, 사회는 기술 자체의 가치 변화에 적응했습니다.

이 패턴은 모든 주요 인지 도구의 전환기에 일관되게 나타납니다. 우려 사항에는 부분적인 타당성이 있지만, 재앙적인 버전은 실현되지 않으며, 그 결과는 전환 과정이 얼마나 의도적으로 관리되었는지에 거의 전적으로 달려 있습니다. AI에 대한 질문은 AI가 사람들의 사고방식을 바꿀 것인가가 아닙니다. 바꿀 것입니다. 질문은 당신이 그 전환을 관리하고 있는지, 아니면 그저 일어나는 것을 지켜보고 있는지입니다.

연구가 보여주는 것

이러한 틀을 바탕으로, 세 편의 논문과 그것들이 우리에게 말해주는 바를 살펴보겠습니다.

가장 본능적인 증거와 가장 왜곡된 보도를 동시에 만들어낸 MIT 미디어 랩 (MIT Media Lab) 연구부터 시작하겠습니다. Kosmyna, Maes 및 동료들은 54명의 참가자에게 EEG 헤드셋을 착용하게 한 뒤, 세 가지 조건(ChatGPT 사용, 검색 엔진 사용, 또는 도구 미사용) 중 하나에서 SAT 스타일의 에세이를 작성하도록 요청했습니다. [1] 신경학적 결과는 극명했습니다. 뇌만 사용하는 작성자들은 가장 강력하고 광범위하게 분산된 인지적 참여 (cognitive engagement)를 보였으나, LLM 사용자는 가장 약한 참여를 보였습니다. 인간 평가자들은 많은 AI 보조 에세이들이 다듬어져 있지만 "영혼이 없다(soulless)"고 평가했습니다. 그리고 후속 세션에서 AI 그룹의 도구를 제거했을 때, 그들은 항상 독립적으로 작업해 온 참가자들보다 더 큰 어려움을 겪었습니다.

결정적인 뉘앙스—"ChatGPT가 당신의 뇌를 부패시키고 있다"라는 헤드라인들이 생략해 버린 부분—는 후속 세션에서 AI 접근 권한이 주어졌을 때 뇌만 사용하던 참가자들에게 일어난 일입니다. 그들은 AI 우선 (AI-first) 그룹보다 더 높은 신경학적 참여 (neural engagement)를 보였으며, 더 정교한 프롬프팅 (prompting)을 사용했습니다! 순서가 중요했습니다. 독립적인 사고를 한 후에 사용된 AI는 결과를 향상시켰습니다. 사고를 하는 대신에 사용된 AI는 결과를 저하시켰습니다. 연구진은 이 축적된 비용을 "인지 부채 (cognitive debt)"라고 불렀습니다.

언론은 경고는 제대로 했지만, 처방은 틀렸습니다.

Shaw와 Nave는 인지 성찰 검사 (Cognitive Reflection Test)를 사용하여 1,372명의 참가자가 AI 어시스턴트의 도움 유무에 따라 어떻게 추론하는지를 측정하는 세 가지 사전 등록 실험을 수행했습니다. [3] 그들의 주요 결과는 다음과 같습니다:

• 참가자들은 절반 이상의 시행에서 자발적으로 AI에 자문을 구했습니다.
• AI가 정확했을 때, 추론 정확도는 25%포인트 향상되었습니다. AI가 틀렸을 때, 추론 정확도는 15%포인트 _하락했습니다.
• AI가 맞든 틀리든 상관없이 자신감이 부풀려졌습니다.
• 가장 쉽게 굴복할 가능성이 높은 사람들은 AI 신뢰도는 높고 "인지 욕구 (need for cognition)"—사람들이 노력이 필요한 사고를 얼마나 _즐기는지_를 측정하는 안정적인 개인적 특성—는 낮은 사람들이었습니다.

핵심적인 발견은 AI가 우리를 틀리게 만든다는 것이 아닙니다. AI는 우리를 "자신만만하게 틀리게" 만든다는 것입니다. 그리고 이는 권위 있게 들리는 답변에 대해 반박할 가능성이 이미 가장 낮았던 사람들에게 가장 큰 영향을 미칩니다.

심리학자들은 인간에게 나타나는 이러한 역학에 대해 이름을 붙여 두었습니다: 바로 더닝-크루거 효과 (Dunning-Kruger effect)입니다. 특정 영역에서 역량이 낮은 사람들은 자신의 능력을 체계적으로 과대평가합니다. 이는 오만함 때문이 아니라, 낮은 성과를 인식하는 데 필요한 기술이 곧 좋은 성과를 내는 데 필요한 기술과 동일하기 때문입니다. 자신이 기준에 미치지 못하고 있다는 것을 알기 위해서는 무엇이 "좋은" 것인지 알아야 합니다.

AI는 모든 영역에서 대규모로 제도화된 더닝-크루거 효과입니다.

연구자들은 전문적인 환경에서 이를 부르는 명칭을 가지고 있습니다: 자동화 편향 (automation bias). Mosier와 Skitka는 조종사, 의료팀, 항공 교통 관제사를 연구하며 이를 기록했습니다. 시스템의 확신은 명확하게 읽히는 반면 운영자 자신의 불확실성은 읽히지 않기 때문에, 자동화된 권장 사항이 다른 가용 증거와 모순될 때조차 그대로 따르게 됩니다. [5] 안전이 중요한 (Safety-critical) 산업들은 결국 이 발견을 바탕으로 의무적인 오버라이드 (override) 프로토콜을 구축했습니다. 대부분의 비즈니스 AI 배포 사례는 그렇지 못했습니다.

모델은 실제 신뢰도에 비례하여 확신을 조절하지 않습니다. 모델은 진정한 불확실성을 표시할 메타인지적 기제 (metacognitive machinery)를 가지고 있지 않습니다. 모델은 그것이 맞든 틀리든 자신 있게 대답합니다 — 왜냐하면 확신은 유창한 텍스트 생성의 스타일적 특징일 뿐, 지식 수준에 대한 이해의 신호가 아니기 때문입니다. Shaw와 Nave는 그 결과를 직접 측정했습니다: AI가 틀렸을 때조차 확신은 부풀려졌으며, 참가자들은 그 부풀려진 확신을 자신의 것으로 받아들였습니다. [3] 당신은 단순히 틀린 답을 얻는 것이 아닙니다. 당신은 전문가의 태도로 전달되는 틀린 답을 얻고 있으며, 그것을 다음 대화, 다음 발표 자료, 다음 결정으로 가져가게 됩니다.

본래의 인간적 더닝-크루거 문제는 현실이 결국 개입할 수 있기 때문에 어느 정도 한계가 있습니다. 자신이 무엇을 모르는지 모르는 사람은 재조정 (recalibration)을 강제하는 결과에 직면할 수 있습니다. AI가 매개하는 더닝-크루거 효과는 조금 더 해롭습니다: 사용자는 자신 있게 틀린 답을 수용하고, 그에 따라 행동하며, 오류를 표시해 줄 피드백 루프 (feedback loop)를 영영 마주하지 못할 수도 있습니다. 모델은 다음 단계로 넘어갑니다. 다른 모든 사람들도 마찬가지입니다.

위험은 AI가 개인을 무능하게 만드는 것이 아닙니다. 위험은 조직이 자연스러운 교정 메커니즘 없이, 자신 있게 틀린 추론을 대규모로 의사결정에 내재화하는 것입니다.

더 알아보기 어려운 2차적인 문제가 있습니다. 기억 연구자들은 이를 출처 모니터링 실패 (source monitoring failure)라고 부릅니다. 시간이 흐름에 따라 사람들은 자신이 직접 생성한 아이디어와 외부 소스에서 온 정보를 구별하는 능력을 상실합니다. [6] 당신은 결론은 기억하지만, 그것을 AI가 생성했다는 사실은 기억하지 못합니다. 6개월 후, AI가 초안을 작성한 전략적 프레이밍 (strategic framing)을 수용한 사람은 그것을 진심으로 자신의 생각으로 회상할 수 있으며, 이는 반박하기 불가능한 상태로 만듭니다. 인지적 굴복 (Cognitive surrender)은 단 하나의 결정만을 부패시키지 않습니다. 그것은 검토되지 않은 AI 출력물을 하나씩 받아들일 때마다, 누군가가 문제 영역 (problem domain)을 이해하는 방식을 조용히 식민화합니다.

MIT Sloan School의 Caosun & Aral 논문은 다른 차원에서 다룹니다. 이는 행동 실험이라기보다 공식적인 동적 모델 (formal dynamic model)이지만, 그 논리는 우려를 가중시킵니다. [2] AI 사용이 기술을 침식한다는 점을 완전히 이해하고 있는 의사결정자라 할지라도, 단기적인 생산성 이득이 초기에 집중될 때는 '합리적으로' AI를 과도하게 사용할 것입니다. 장기적인 함정은 느리고 보이지 않게 닫힙니다. 역량 격차가 나타날 때쯤이면, 그것은 개인의 선택 문제가 아니라 인력 (workforce) 전체의 문제가 되어 있습니다.

모델이 보여준 가장 놀라운 결과는 다음과 같습니다: 근로자들은 평범한 균형 상태로 수렴하지 않습니다. 그들은 갈라집니다. 깊은 기술 기반을 갖춘 상태에서 AI 도입을 시작하는 숙련된 근로자들은 자신의 잠재력을 완전히 실현합니다. 반면, 기초적인 역량을 쌓기 전에 AI에 의존하는 경험이 적은 근로자들은 기술이 거의 제로에 가깝게 퇴보 (deskill)할 수 있습니다. 동일한 도구, 동일한 조직, 그러나 정반대의 궤적입니다.

연구가 보여주지 않는 것

그렇다면 우리가 AI를 사용할 때 실제로 어떤 일이 일어나고 있는 것일까요?

Shaw & Nave의 실험은 인지 반사 검사 (Cognitive Reflection Test) 항목[3]을 사용합니다. 이는 직관적이지만 틀린 답을 유도하도록 특별히 설계된 영리한 논리 퍼즐들입니다. 이러한 상황은 인지적 항복 (cognitive surrender)이 가장 측정 가능하며 가장 중대한 결과를 초래하는 바로 그 조건입니다. 하지만 엔지니어링 부사장 (VP of Engineering)이 Claude에게 벤더 제안서를 요약해 달라고 요청하는 것은, '배트와 공' 문제에 속아 넘어가는 사람의 인지적 상황과는 동일하지 않습니다. 실제 업무에는 피드백 루프 (feedback loops), 이해관계 (stakes), 도메인 전문 지식 (domain expertise), 그리고 오류를 발견하고 수정할 기회가 포함됩니다.

Caosun & Aral 모델 [2] 또한 자체적인 한계를 가지고 있습니다. 경제 모델을 구축할 때, 다루고자 하는 원리(들)를 가장 잘 설명하기 위해 많은 현실 세계의 복잡성을 필연적으로 단순화하거나 완전히 배제하며, 거의 이상적인 상태를 모델링합니다.

또한 세 논문 모두를 관통하는 우려스러운 실증적 결과가 있습니다. 106개의 연구를 대상으로 한 2024년 Nature Human Behaviour의 메타 분석에 따르면, 인간-AI 팀은 인간이나 AI가 단독으로 작업할 때의 최상급 성과보다 현저히 낮은 성과를 보였습니다. [7] AI 역량에 의해 인간의 판단력이 증폭되는 '켄타우로스 (centaur)' 모델은 기본값(default)으로 나타나는 결과가 아닙니다. 오히려 이는 의도적인 설계의 결과로만 발생합니다. 대부분의 배포 사례는 그 기준을 통과하지 못합니다.

우리가 확신을 가지고 말할 수 있는 것:

• 인지적 항복 (cognitive surrender)은 통제된 조건 하에서 실재하며 측정 가능한 현상이다.
• 독립적인 사고를 대신하여 사용하는 AI는 신경학적 참여와 기억 유지력을 감소시키지만, 독립적인 사고를 거친 이후에 사용하는 AI는 이를 향상시킬 수 있다. 즉, 순서(sequencing)가 변수이다 [1].
• 증강의 함정 (augmentation trap) 역학은 이론적으로 일관되며, 우리가 기술 발달에 대해 알고 있는 내용과 일치한다.
• 주니어급 작업자들은 잘못 설계된 AI 배포로부터 비대칭적 위험 (asymmetric risk)에 직면한다.
• AI가 생성한 자신감 인플레이션 (confidence inflation)은 구체적이고 식별 가능한 실패 모드 (failure mode)이다.

여전히 미결 상태로 남아 있는 것: