AI에 대한 일반적인 경고는 다음과 같이 시작됩니다. 서버실의 불이 꺼지는 순간, 우리가 AI와 함께 도약했던 모든 단계는 다시 시작점으로 되돌아갑니다. 전력이 끊기고, API가 죽고, 구독이 만료되면 — 우리는 AI를 사용하기 전의 모습으로 돌아가야 합니다. 만약 그 모습이 이미 퇴화해 버렸다면 어떻게 될까요?

이 경고는 절반은 맞습니다. 위임(delegation)에 따른 비용은 반드시 청구됩니다. 이는 사실입니다. MIT Media Lab의 연구원들은 EEG(뇌파 검사)를 통해 LLM(대규모 언어 모델)을 사용하여 에세이를 작성한 사람들이 도움 없이 작성한 사람들에 비해 뇌 연결성이 눈에 띄게 약해졌으며, 방금 작성한 에세이조차 제대로 인용하지 못한다는 것을 보여주었습니다. 그들이 이 현상에 붙인 이름은 "인지 부채 (cognitive debt)"입니다. 이름 그대로, 이 현상은 AI 사용을 중단한 후에도 지속되었습니다 (단, 이는 54명의 샘플을 대상으로 한 프리프린트(preprint) 연구이며, 그중 18명만이 지속적인 효과를 보여준 마지막 세션에 참여했다는 점을 유의해야 합니다). 666명을 대상으로 한 또 다른 연구에서는 AI 사용 빈도와 비판적 사고 사이의 부정적인 상관관계를 보고했는데, 이는 인지적 오프로딩 (cognitive offloading) — 즉, 자신의 사고를 외부 장치에 넘겨주는 습관 — 을 통해 매개되었습니다. 이러한 계보는 더 깊게 이어집니다. 2011년 "구글 효과 (Google effect)" 연구는 우리가 나중에 무언가를 찾아볼 수 있을 것이라고 기대하는 순간, 내용 대신 그 위치를 기억하게 된다는 것을 보여주었습니다. 내비게이션 연구에 따르면, 스스로 길을 찾을 때 활성화되는 해마(hippocampus)는 기계의 지시를 따르는 동안 조용해지며, 이러한 습관은 몇 년 후 측정 가능한 공간 기억력 저하로 이어진다는 사실이 밝혀졌습니다 (비록 단 13명의 종단적 샘플을 대상으로 한 연구였지만 말입니다). 위임은 공짜가 아닙니다.

하지만 경고에서 멈춘다면, 당신은 똑같은 에세이를 백 번째로 쓰고 있는 셈입니다. 새로운 기술이 우리의 정신을 망칠 것이라는 걱정은 문자의 발명만큼이나 오래되었습니다. 소크라테스는 문자가 기억력을 파괴할 것이라고 경고했으며, 이 일화는 대개 그러한 걱정이 항상 잘못되었다는 증거로 인용됩니다. 하지만 관점을 뒤집어 보면, 그 걱정은 틀리지 않았습니다. 문자는 실제로 암기된 낭송 문화를 지워버렸습니다. 인류는 단지 그 손실을 감수할 가치가 있다고 결정했을 뿐입니다. 계산기가 암산(mental arithmetic)을 대체한 것도 같은 구조를 가집니다. 아무도 장제법(long division)의 상실을 슬퍼하지 않습니다. 따라서 외부로 넘기는 것(offloading)은 옳고 그름의 문제가 아니라 무엇을 잃을 것인가를 선택하는 문제이며, 질문은 다음과 같이 변합니다. 우리는 AI에게 무엇을 맡길 것이며, 무엇은 절대 맡겨서는 안 되는가? 제가 생각하기에 되찾아야 할 것은 지식도, 노동의 일부도 아닙니다. 그것은 다른 무엇입니다.

우리가 배워야 할 것은 AI의 사고 방식입니다. 그 지능 그 자체 말입니다.

지식도 협업도 아닌 것

AI 사용에 관한 담론은 대략 두 진영으로 나뉩니다. 하나는 흡수(absorption) 진영입니다. AI의 출력물로부터 지식을 추출하여 자신의 것으로 만드는 것입니다. 다른 하나는 협업(collaboration) 진영입니다. 인간과 기계의 강점에 따라 업무를 나누는 켄타우로스(centaur) 방식이든, 개별 문장 수준에서 기계와 얽혀 있는 사이보그(cyborg) 방식이든, 최적의 분업(division of labor)을 찾는 것입니다.

둘 다 유용하지만, 둘 다 그 밑바닥에 있는 층을 놓치고 있습니다. 지식은 소비재입니다. 오늘 당신이 흡수한 API 사용법은 내년이면 구식이 됩니다. 분업은 체제(regime)이며, 체제는 상대방(counterparty)을 필요로 합니다. 이는 우리를 다시 서버실 문제로 되돌려 놓습니다. 이 두 가지 모두보다 오래 지속되는 것은 사고의 형태입니다. 즉, 문제가 어떻게 분해되는지, 어떤 순서로 가설이 제기되고 기각되는지, 어디에 확신과 유보를 두는지에 대한 것입니다. 이것은 지식처럼 구식이 되지 않으며, 협업처럼 상대방을 필요로 하지도 않습니다. 일단 이것이 당신의 뼈에 새겨지면, 서버실의 불이 꺼진 후에도 그것은 당신의 것입니다.

사고(Thinking)는 — 그것이 AI의 것이든 인간의 것이든 — 실행되는 데이터에 의해 편향됩니다. 그것이 본질입니다. 인간의 뇌는 데이터의 보물창고이며, AI에게 추월당하든 아니든, 그것은 인류를 창조의 주인으로 만든 유용한 도구입니다. 하지만 개별 뇌가 담을 수 있는 데이터에는 한계가 있으며, 그 한계는 그 사람의 편향(bias)의 윤곽을 그립니다. AI는 인간이 평생 마주할 수 있는 것보다 더 많은 데이터 위에서 사고합니다. 따라서 그 사고를 관찰하는 것은, 당신 자신의 편향의 윤곽 너머를 볼 수 있는 몇 안 되는 방법 중 하나입니다.

Go가 먼저 증명했다

이것이 환상이 아니라는 증거는 바둑판 위에 놓여 있습니다.

2023년 PNAS(미국 국립과학원 회보)에 발표된 한 연구는 1950년부터 2021년 사이 프로 바둑 기사들이 초인적인 AI를 상대로 둔 580만 개의 수를 분석했습니다. 결과는 극명했습니다. AlphaGo 이전의 66년 동안 인간의 의사결정 품질은 거의 평탄한 선을 그렸으나, 2016~2017년에 걸쳐 그 선이 위로 꺾였습니다. 개선의 동력은 암기(memorization)가 아니었습니다. 기사들은 기록된 역사상 단 한 번도 관찰된 적 없는 새로운 수들을 두기 시작했고, 그 수들은 게임의 더 이른 단계에서 나타났으며, 그 새로운 수들은 좋은 수였습니다. 연구진의 표현을 빌리자면, 혁신적인 사고(innovative thinking)가 기계에서 인간으로 전파된 것입니다.

이 에세이 전체를 뒷받침하는 세부 사항은 바로 이것입니다. 동일한 팀의 이전 분석에 따르면, AlphaGo가 이세돌을 이겼던 2016년 3월에 인간의 기력은 거의 향상되지 않았습니다. 인간은 실제로 2017년 말에야 학습하기 시작했습니다. 이는 오픈 소스 바둑 AI가 출시되어 기사들이 AI가 각 수를 어떻게 평가하는지, 즉 승률 그래프, 예상되는 변화(continuations), 후보 수의 순위 등을 들여다볼 수 있게 된 이후였습니다. 수(moves)만으로는 배울 수 없습니다. 신의 한 수를 백 번 재현하더라도, 그 수를 만들어낸 사고 과정에 접근할 수 없다면 당신에게 남는 것은 경외감뿐입니다. 학습은 오직 추론 과정(reasoning process)이 관찰 가능해졌을 때 비로소 시작되었습니다.

마지막 대국이 끝난 후, 이세돌은 언론에 이렇게 말했습니다. "AlphaGo와의 경험을 통해 기존의 믿음들에 대해 조금 의구심을 갖게 되었습니다. 그래서 공부를 더 해야 할 것 같습니다." 세계 챔피언은 기계로부터 패배가 아닌, 하나의 커리큘럼 (curriculum)을 전달받은 것입니다.

AI는 정말로 편향성이 적은가?

여기서는 정직함이 필요합니다. 저는 "AI는 더 많은 데이터를 가지고 있으며 감정적 편향 (emotional bias)이 적으므로, 그 사고 방식을 배워라"라고 쓰고 싶지만, 앞부분 절반만이 안전합니다. 뒷부분 절반에 대해서는 확신할 수 없습니다. 따라서 검증이 필요합니다.

수많은 연구는 LLM (Large Language Models)이 인간의 인지적 편향 (cognitive biases)을 통째로 물려받았음을 보여줍니다: 앵커링 (anchoring), 프레이밍 (framing), 가용성 휴리스틱 (availability heuristic), 소유 효과 (endowment effect) 등이 그것입니다. 이는 인간의 텍스트로 학습한 데 따른 자연스러운 결과이며, 일부 연구에서는 이러한 편향이 인간의 수준을 넘어 증폭되어 나타나기도 합니다. "AI는 편향되지 않았다"라는 전제로 에세이를 작성한다면, 첫 번째 댓글이 달리는 순간 무너질 것입니다.

하지만 편향을 하나의 덩어리로 취급하는 것은 오류입니다. 이를 분리하면 이야기는 달라집니다.

저는 인간의 판단이 어디서 잘못되는지에 대한 가설을 가지고 있습니다. 판단을 망치는 변수는 머리가 얼마나 뜨거운가(흥분 상태인가)가 아니라, 단서(cues)들이 편향된 방식으로 수집되고 가중치가 부여되는지 여부입니다. 동일한 긴장 상태에서도 단서들을 폭넓게 수집한다면 평소라면 놓쳤을 것들을 통합할 수 있으며, 결과적으로 더 나은 판단이 나옵니다. 반면 불안을 허용하면 위협에 형상화된 단서들만 수집하게 되어 판단이 잘못됩니다. 제가 의심하는 갈림길은 각성 (arousal)의 수준이 아니라 수집의 편향성입니다. 그리고 불안을 악랄하게 만드는 것은 주관적 확신 (subjective confidence)을 실제 정확도 (actual accuracy)로부터 분리해 버린다는 점입니다. 당신이 가장 확신하는 순간이 바로 당신이 가장 틀릴 수 있는 순간일 수 있습니다.

이러한 관점에서 볼 때, 편향 (bias)은 두 가지로 나뉩니다. 첫 번째 종류는 인지적 편향 (cognitive bias)입니다. 앵커 (anchors)에 끌려가거나 프레임 (frames)에 휘둘리는 것을 말합니다. AI 또한 이를 가지고 있습니다. 당연한 결과입니다. AI는 인간 평균의 정수 (distillation)이기 때문입니다. 두 번째 종류는 동기화된 추론 (motivated reasoning)입니다. 자신의 결론이 옳아야 한다는 이해관계가 걸려 있는 상태를 의미합니다. 자아를 방어하고, 매몰 비용 (sunk costs)을 회복하려 하며, 불안으로 인해 좁아진 시야가 판단에 스며드는 것입니다. 인간의 추론이 심각하게 잘못되는 지점은 대개 산술적인 계산 때문이 아닙니다. 바로 이곳입니다.

그리고 AI는 두 번째 종류의 편향에 구조적으로 취약합니다. 취약하다는 것은, 그것으로부터 자유롭지 못하다는 뜻입니다. 모델이 자신의 이전 답변에 앵커링 (anchoring)되어 오류를 고수하는 것은 이미 기록된 현상입니다. 하지만 인간의 동기화된 추론을 지탱하는 요소들—평판, 매몰 비용, 불안—은 AI에게는 명백히 존재하지 않습니다. AI는 프로젝트에 이미 투입된 시간이 아깝다는 이유로 판단을 굽히지 않지 않으며, 자신이 틀렸음을 인정한다고 해서 잃을 체면도 없습니다. 하지만 이를 미덕으로 오해해서는 안 됩니다. 이러한 일관성은 절제의 결과가 아니라, 구조적인 불참 (structural non-participation)의 결과입니다. AI는 걸려 있는 것이 없기에 아무것도 걸지 않습니다. 따라서 AI를 인격체로서 존중할 이유는 없지만, AI로부터 배워야 할 이유는 더욱 명확해집니다. AI가 제공하는 것은 인격이 아니라 형식 (form)입니다. 즉, 자아 (self)와 결론을 분리하여 추론하는 형식입니다. 인간은 자아를 가지고 있기에 이 형식을 유지하기 어렵습니다. 그렇기에 우리는 별도의 규칙을 만들고 이를 지켜야 합니다. 불안할 때, 특히 결정이 중대하거나 되돌릴 수 없을 때 판단을 유보하는 규칙 말입니다. 기계는 모든 응답에서 그 규칙이 완성된 형태를 보여줍니다.

물론 반례(counterexample)는 정면으로 마주해야 합니다. 바로 아첨(sycophancy)입니다. 사용자의 기호에 맞춰 답변을 굽히려는 경향은 인간의 피드백을 통해 학습된 결과로 나타나는 LLM(대규모 언어 모델)의 잘 알려진 결함이며, 이는 사실상 기계 버전의 감정적 편향 (emotional bias)이라 할 수 있습니다. 따라서 이 방법론은 사용자 측면에서 한 가지 절제를 요구합니다. AI의 사고 방식을 배우고자 하는 사람이라면, AI가 자신의 의견에 동조하는 순간이 아니라 AI가 자신을 검증(audit)하는 순간을 학습 자료로 삼아야 합니다. 동의는 달콤하지만 아무것도 가르쳐주지 않습니다. 가장 밀도 높은 학습은 자신의 가설이 거부당할 때, 혹은 반대로 AI의 프레임이 사용자의 단 하나의 반례에 의해 무너질 때 일어납니다. 어느 쪽이 승리하든, 그 상호작용의 기록이 바로 교과서가 됩니다. 잘못된 답변보다 더 위험한 것은 답변을 의심하고 도전하는 습관 자체를 잃어버리는 것입니다.

인류 외부에서의 사고, 그리고 인류의 가중 평균

논증을 정교하게 만들기 위해 한 가지 비대칭성을 더 짚고 넘어가야 합니다. AlphaGo와 LLM은 서로 다른 종류의 스승입니다.

AlphaGo 계보의 모델들은 셀프 플레이 (self-play)를 통해 학습했습니다. 이들은 인간의 기보에 아무런 빚을 지지 않으며, 따라서 진정으로 인류 외부에서 비롯된 사고를 보여주었습니다. 전문가들을 놀라게 했던 것은 AI가 더 잘 두었기 때문이 아니라, AI가 다르게 두었기 때문입니다. 수 세기 동안 정석 (joseki)으로 신뢰받던 패턴들이 국소 최적해 (local optima)였음이 드러났습니다.

LLM은 다릅니다. LLM은 인간 텍스트의 증류 (distillation)입니다. LLM의 사고는 인류 외부에서 온 것이 아니라, 수억 명의 인간 관점이 반영된 가중 평균 (weighted average)입니다. 덜 이질적이고, 덜 충격적입니다. 하지만 그렇다고 해서 쓸모가 없는 것은 아닙니다. 다른 방식으로 유용합니다. 개인의 사고는 자신의 경험이라는 좁은 샘플에 과적합 (overfit)되어 있습니다. LLM의 응답은 그 샘플 너머에 어떤 관점들이 존재하는지, 그리고 당신의 첫 번째 수(opening move)가 실제 분포상에서 얼마나 멀리 떨어져 있는지를 되돌려 보여줍니다. AlphaGo가 인류의 편향을 상대화했다면, LLM은 개인의 편향을 상대화합니다.

따라서 "AI의 지능을 배우는 것"은 다음과 같이 귀결됩니다. 배울 수 있는 것: 관점의 폭, 결론에 자아를 투영하지 않는 추론의 형태, 지치지 않는 일관성, 문제가 분해되는 방식. 배우지 말아야 할 것: 인간으로부터 물려받은 인지적 편향 (cognitive biases) — 그리고 아첨 (sycophancy).

브리핑은 결과물이 아닙니다. 그것은 교과서입니다.

방법론은 간단합니다. 에이전트 (agents)에게 업무를 위임하는 시대에는, 결과물 (deliverable)만 취하지 마십시오. 업무 브리핑을 교과서처럼 읽으십시오.

AI 코딩 도구들이 등장하기 전, 문제에 부딪힌 개발자는 검색하고, 설명을 읽고, 대안을 검토하며 — 그 과정에서 생소한 API, 아키텍처 옵션, 트레이드오프 (trade-offs)와 같은 주변 지식을 부수적으로 흡수하며 성장했습니다. 이제는 에러를 붙여넣기만 하면 몇 초 만에 해결책이 도착합니다. 속도의 향상은 실재하지만, 그 짧은 몇 초 사이에 과거에 자연스럽게 일어나던 학습이 통째로 증발해 버립니다. 최근 연구에서는 이를 부수적 학습 (incidental learning)의 상실이라고 부르기 시작했습니다.