알고리즘이 우리를 대신 생각할 때: 인류의 미래는 누가 형성하는가, 우리인가 아니면 우리의 스마트 모델들인가?

Originally published at scouthub.dev.

우리는 매일 AI를 사용하는 사람들로서 이 글을 쓰고 있습니다. 우리는 AI로 도구를 만들고, AI로 텍스트를 검토하며, AI로 아이디어를 테스트합니다. 따라서 우리는 두려움이나 경외심에서 쓰는 것이 아닙니다. 우리는 그 도구를 가까이서 보는 사람으로서, 간단한 질문을 던지며 쓰고 있습니다. 바로 이겁니다: 도구가 매년 더 똑똑해짐에 따라, 누가 결정권을 가진 채 남아있을 것인가?

이는 단순한 철학적 질문만이 아닙니다. 실질적인 질문입니다. 언어 모델(language model)이 작성한 숙제를 채점하는 교사도 이 문제에 직면합니다. 자동화된 추천 내용을 읽는 의사 역시 마찬가지이며, 자신이 완전히 읽지 않은 제안을 받아들이는 개발자도 그렇습니다. 그리고 우리 또한 연구실에서 이 문제를 마주하고 있습니다.

몇 달마다 변화하는 지형도

우리가 상상하는 것이 아니라, 우리가 아는 것부터 시작하겠습니다.

단 1년 만에 까다로운 벤치마크(benchmark)에서의 모델 점수는 급격히 상승했습니다. Stanford의 AI Index 보고서에 따르면, 실제 소프트웨어 문제에 대한 벤치마크인 SWE-bench에서 출시된 지 1년 만에 약 67점의 향상을 보였습니다 [2]. 같은 보고서는 2022년 말부터 2024년 가을 사이에 GPT-3.5 수준 시스템을 운영하는 비용이 280배 이상 하락했다고 언급합니다 [2]. 비쌌고 희귀했던 것이 저렴해지고 어디에나 존재하게 되었습니다.

채택률 또한 그 속도를 따라잡았습니다. 같은 보고서에 따르면, 조직의 78%가 2024년에 AI를 사용한다고 답했으며, 이는 전년도 55%에서 증가한 수치입니다 [2]. 이제 이 도구들은 더 이상 대형 연구소만의 것이 아닙니다. 사무실, 교실, 그리고 휴대폰 안에 자리 잡고 있습니다.

그리고 개선되는 것은 단순히 정확성만이 아니라 지속력(stamina)입니다. 2025년의 한 연구에서 METR는 AI 에이전트(AI agents)가 50% 성공률로 완료할 수 있는 작업 길이가 지난 6년간 매 7개월마다 약 두 배씩 증가했다고 밝혔습니다 [3]. METR 자체도 새로운 데이터가 들어옴에 따라 일부 수치가 변한다고 언급합니다. 하지만 방향성은 명확합니다: 기계는 더 이상 단순히 질문에 답하는 것에 그치지 않습니다. 일련의 단계를 수행하고 있습니다.

이 모든 것의 배경에는 빠르게 성장하는 컴퓨팅 파워가 있습니다. Epoch AI에 따르면, 주목할 만한 모델들의 훈련 컴퓨팅(training compute)은 2010년 이후 약 6개월마다 두 배로 증가했습니다[4].

이것이 우리에게 의미하는 바는 무엇일까요? 오늘날의 지도는 1년 후에는 유효하지 않다는 것입니다. 현재 모델들이 할 수 있는 것에 맞춰 학교나 조직을 계획하는 사람은 시작하기도 전에 뒤처진 자신을 발견하게 될 것입니다.

무의식적으로 나침반을 넘겨줄 때

가장 가까운 위험은 기계가 우리에게 반항하는 것이 아닙니다. 훨씬 간단합니다. 바로 우리가 다른 무언가가 생각해주기 때문에 스스로 생각하는 것을 멈추는 것입니다.

2023년 _Radiology_에 게재된 연구에서, 27명의 영상의학과 전문의들은 AI 시스템의 제안과 함께 유방 촬영술(mammograms)을 판독했습니다. 제안이 정확했을 때, 경험이 적은 독자들은 약 80%의 확률로 올바르게 판단했습니다. 하지만 제안이 틀렸을 때는 그들의 정확도가 19.8%까지 떨어졌습니다[5]. 가장 숙련된 독자들조차도 82.3%에서 45.5%로 하락했습니다[5]. 연구원들은 이를 “자동화 편향(automation bias)”이라고 부릅니다. 즉, 우리가 기계이기 때문에 그 기계를 믿으려는 경향이 있다는 것입니다.

CHI 2025에서 발표된 Microsoft Research의 연구에서는 319명의 지식 근로자가 생성형 AI(generative AI)를 사용한 일상 업무 사례 936개를 공유했습니다[6]. 이 발견은 놀랍습니다. 사람들이 도구를 더 많이 신뢰할수록 비판적 사고를 덜 적용했습니다. 반면, 자신이 가진 능력에 대해 더 많이 신뢰했을 때 더 많은 비판적 사고를 적용했습니다[6].

스카우팅 활동에서는 이 교훈을 잘 알고 있습니다. 나침반은 당신을 위해 걸어주지 않습니다. 북쪽이 어디인지 알려줄 뿐이며, 어디로 갈지, 언제 멈출지, 언제 되돌아갈지는 당신이 결정합니다. 트레일을 올려다보지 않고 장치만 따라가는 스카우트는 자신이 완전히 확신하는 기분으로 계곡 끝에 도달할 수 있습니다.

역량 강화와 통제력 상실 사이의 경계는 어디인가?

역량 강화(Empowerment)란 도구가 우리가 할 수 없었던 일을 해주지만, 우리는 그것이 무엇을 하고 있는지 이해하고 멈출 수 있을 때입니다. 반면, 통제력 상실(Loss of control)은 우리가 더 이상 이해하거나 검토하거나 “아니오”라고 말할 수 없을 때 발생합니다.

문제는 한 상태에서 다른 상태로의 전환이 단일한 순간에 일어나지 않는다는 것입니다. 그것은 점진적으로, 작은 결정 하나하나를 통해 일어납니다.

UN 보고서 《인류를 위한 AI 거버넌스(Governing AI for Humanity)》는 오늘날 누구도 이러한 시스템들의 내부 작동 방식을 충분히 이해하여 그 결과물을 완전히 통제하거나 진화를 예측할 수 없다는 점을 인정합니다[8]. 또한 이 보고서는 또 다른 격차를 지적합니다. UN 외부의 7개 주요 국제 AI 거버넌스 이니셔티브 중, 모든 것에 참여하는 국가는 단지 7개국에 불과하며, 대다수의 국가(주로 글로벌 사우스 지역)는 어느 것에도 참여하지 못하고 있습니다[8]. 다시 말해, 규칙이 만들어지는 자리에 전 세계 대부분의 지역, 우리 지역을 포함하여,가 테이블에 앉아 있지 않다는 의미입니다.

2025년 1월에 발표된 《국제 AI 안전 보고서(International AI Safety Report)》는 약 100명의 전문가들을 모았으며, 자문 패널은 30개국과 UN, EU, OECD가 지명했습니다[1]. 이 노력 자체가 무언가를 말해줍니다. 즉, 이 질문이 더 이상 주변적인 문제가 아니라는 것입니다.

법적 측면에서는 EU AI Act가 2024년 8월 1일 발효되었습니다. 이는 교육 및 고용과 같은 분야의 고위험 시스템에 대해 “적절한 인간의 감독(appropriate human oversight)”을 요구합니다[9].

저희의 경험으로부터, 우리는 다음과 같은 실질적인 규칙들을 도출했습니다:

• 결정 이유를 설명할 수 없다면, 그 결정에 의존하지 마십시오. 이유 없이 답만 주는 도구는 맹목적인 신뢰를 요구하는 것입니다.
• 개인에게 영향을 미치는 결정은 사람을 거쳐야 합니다. 입학, 평가, 징계 및 치료와 같은 과정은 기계에만 맡겨져서는 안 됩니다.
• 논리로 계산하고, AI로 설명하십시오. 명확한 규칙으로 계산할 수 있는 것은 확률적 모델(probabilistic model)에 맡기지 않아야 합니다.
• 항상 전원을 끌 스위치를 유지하십시오. 멈추거나 되돌릴 수 없는 시스템은 도구가 아닙니다. 그것은 하나의 약속입니다.
• 자신의 기술을 지켜보십시오. 그 도구 없이는 더 이상 과제를 수행할 수 없다는 신호를 감지한다면, 그것은 주의를 기울여야 할 중요한 신호입니다.

우리만의 도구를 구축한 것이 가르쳐준 것들

우리는 이 규칙들을 책에서 가져온 것이 아닙니다. 우리는 직접 만들면서 부딪히고 깨달았기 때문에 이를 작성했습니다.

우리가 보안 감사 도구인 Kashef를 만들었을 때, 가장 쉬운 방법은 모델에게 웹사이트 점수를 매기도록 요청하는 것이었습니다. 하지만 우리는 그렇게 하지 않았습니다. 이 점수는 누구나 단계별로 확인할 수 있는 고정된 논리로 계산됩니다. AI의 역할은 그 결과를 평이한 언어로 설명하는 것이지, 결정하는 것이 아닙니다. 만약 모델이 설명을 잘못하더라도, 숫자는 여전히 정확하고 검증 가능합니다.

LinkGuard에서는 단순히 “이 링크는 위험하다”에서 멈추지 않기로 했습니다. 사용자는 항상 ‘왜 이런 판결인가요? 어떤 신호들을 발견했나요?’라는 질문을 볼 수 있습니다. 이런 방식으로 사람들은 스스로 판단하는 법을 배우고, 다음번에는 도구에 대한 의존도가 조금 낮아집니다.

그리고 1,350명 이상의 스카우트 리더들에게 서비스를 제공하는 Telegram 비서 Najem과 함께 우리는 좋은 도구가 시간을 절약해 주지만, 리더의 자리를 대신할 수는 없다는 것을 배웠습니다. 그것은 상기시키고, 수집하고, 제안합니다. 하지만 캠프에서 한 어린 스카우트와 관련된 교육적인 순간을 판단하는 것은 그를 아는 인간에게 남아있는 영역입니다.

우리가 지금 할 수 있는 것들

전문가 그룹과 일반 대중 사이에는 명확한 격차가 존재합니다. Pew는 2025년에 AI 전문가의 56%가 향후 20년 동안 AI가 미국에 긍정적인 영향을 미칠 것으로 예상하는 반면, 일반 대중은 17%만이 그렇게 예측한다고 밝혔습니다[7]. 하지만 양측 모두 한 가지에 동의합니다. 즉, 일반 대중의 약 55%와 전문가의 57%가 자신의 삶에서 AI 사용 방식에 대한 통제권을 더 원한다는 것입니다[7].

이 공유된 바람이 출발점입니다. 그리고 통제권은 주어지는 것이 아닙니다. 그것은 연습하는 것입니다.

개인으로서, 우리는 복사하기 전에 답을 읽고, “어떻게 알았나요?”라는 질문을 먼저 던지며 “답이 무엇인가요?”라고 묻는 습관을 들일 수 있습니다. 매주 손으로 직접 하는 기술이라도 하나는 지킬 수 있습니다.

교육자 및 리더로서, 우리는 젊은 세대에게 도구를 사용하는 법과 동시에 그것에 도전하는 법을 가르칠 수 있습니다. 간단한 활동이 있습니다. 팀에게 언어 모델(language model)의 답변을 주고, 그 안에서 실수를 하나 찾아내도록 요청하는 것입니다. 이는 건강한 의구심이라는 근육을 키워줍니다. 또 다른 방법은, 문제를 먼저 스스로 해결하게 한 다음, 그 답과 기계가 제시한 답을 비교하고 차이점에 대해 토론하도록 하는 것입니다. 이 경우 도구는 복종해야 할 권위가 아니라 검토할 동료가 됩니다.

구축자로서, 우리는 스스로 설명하는 시스템을 설계하고, 인간 개입(human in the loop)을 유지하며, 계산된 것과 제안되는 것을 분리할 수 있습니다. 투명성은 추가 기능이 아닙니다. 그것은 신뢰의 전제 조건입니다.

우리 지역이 단순히 소비자 역할에 머물 필요는 없습니다. 명확한 가치를 지닌 도구를 구축하는 모든 학교, 협회 또는 소규모 팀은 아직 짜여지고 있는 테이블에 목소리를 더합니다.

스마트 모델들은 매년 더 정확한 지도를 그려낼 것입니다. 이 점은 거의 확실합니다. 하지만 아무리 정확한 지도라도 목적지를 선택하지는 않습니다.

도구가 지도를 그리고, 우리는 나침반을 잡습니다.