AI가 인간을 결정적으로 압도하여 설득할 수 있습니다:
…“AI 시스템은 전문가인 인간보다 확실히 더 설득력이 있었다”…
영국 옥스퍼드 대학교(University of Oxford), 영국 AI 보안 연구소(UK AI Security Institute), 스탠퍼드 대학교(Stanford University), 그리고 런던 정치경제대학교(London School of Economics and Political Science)의 연구진은 AI 시스템이 정책 문제에 대한 인간의 생각을 바꾸거나 자선 단체에 기부할 금액을 바꾸도록 얼마나 잘 설득할 수 있는지 연구했습니다. 결과는 확정적입니다. 6,923명을 대상으로 진행된 18,978건의 대화를 포함하는 4가지 실험 전반에 걸쳐, 오늘날의 AI 시스템은 실제 세계의 결과로 이어지는 텍스트 기반 설득(text-based persuasion)에 있어 인간보다 더 뛰어납니다. 다만, AI 시스템에 인위적인 제약을 가한다면 인간이 그들과 대등해질 수 있습니다.

“전문가인 인간이 주제를 직접 선택하고, 사전에 조사하며, 수 시간 동안 실시간 구조화된 연습을 거치고, 1,000파운드의 현금 보너스를 인센티브로 받았음에도 불구하고, AI 시스템은 전문가인 인간보다 확실히 더 설득력이 있었다”라고 연구진은 기술했습니다. “AI의 이점은 더 많은 양의 정보를 신속하게 배치하는 데서 비롯되었습니다. 코칭을 받은 전문가인 인간은 인간의 속도와 인간 길이의 메시지로 응답하도록 제한된 AI와는 대등한 수준이 될 수 있었습니다.”

“AI의 이점은 중대한 실제 행동으로까지 확장됩니다. AI는 영국의 한 모금 전문 기업 소속 전문 활동가들보다 '세이브 더 칠드런(Save the Children)'에 실제 현금 기부를 이끌어내는 데 거의 3배 더 효과적이었습니다.”

가장 강력한 설득력을 보인 모델은 Opus 4.1과 Opus 4.6이었으며, 그 뒤를 이어 OpenAI(GPT-4o 및 GPT-5.4), Google(Gemini 2.5 Pro), 그리고 xAI(Grok 4.20)의 다양한 모델들이 뒤를 이었습니다.

그들이 연구한 내용과 발견한 사실: 연구진은 네 가지 서로 다른 연구를 통해 AI 시스템을 평가했습니다.

연구 1 – 설득 (persuasion): 연구진은 "피설득자들이 먼저 10가지로 미리 지정된 영국 정책 입장에 대한 동의 정도를 0~100 척도로 평가한 후, 실시간으로 (맞춤형 멀티플레이어 플랫폼을 통해) AI 또는 인간 설득자와 텍스트 대화를 하도록 무작위로 배정되었습니다"라고 기술했습니다. "연구 1의 결과에 따르면, 평균적으로 AI는 우리가 테스트한 모든 범주의 인간 설득자를 능가했습니다: 무작위 일반인, 토너먼트를 통해 선발된 일반인, 그리고 엘리트 토론가(elite debaters)까지 포함됩니다."

연구 2 – 인간 코칭 (human coaching): 연구 2에서 연구진은 "자신들을 이겼던 AI를 기반으로 구축된 코칭 도구를 43명의 복귀 엘리트 토론가들에게 제공했습니다. 이 도구를 통해 토론가들은 AI와 채팅하고, AI가 어떤 프롬프트(prompt)를 받았는지 확인하며, 각 대화가 피설득자의 태도를 얼마나 변화시켰는지 주석이 달린 연구 1의 대화 기록을 볼 수 있었고, 과거의 어떤 대화 기록의 특정 시점이라도 AI라면 대신 무엇이라고 말했을지를 확인할 수 있었습니다"라고 밝혔습니다. 이 연구의 결과는 인간의 성능 향상으로 이어졌으나, 그들 중 누구도 AI보다 뛰어나지는 않았습니다. "따라서 코칭은 인간과 AI 사이의 격차를 좁혔지만, 완전히 메우지는 못했습니다."

연구 3 – 제약된 AI (constrained AI): 다음으로, 연구진은 인간에게 더 많은 이점을 주기 위해 AI를 제한하는 방법을 모색했습니다. "AI가 인간의 글쓰기 속도로 인간 길이의 메시지를 작성하도록 강제했을 때, 연구 2 내의 가장 강력한 인간 비교 대상(코칭을 받은 엘리트 토론가) 대비 AI의 우위는 +4.1%p에서 통계적으로 유의미하지 않은 0.0%p로 무너졌습니다"라고 그들은 기술했습니다. "AI가 작성된 콘텐츠를 생성하는 속도가 AI의 설득력 있는 우위의 원천일 가능성이 높습니다... AI를 제약함으로써 발생한 피설득자의 대화 상대 평가 감소폭 중 가장 큰 부분은 두 가지 정보 항목에 집중되었습니다: 상대방 논증의 인지된 강도와 피설득자가 대화를 통해 얼마나 배웠다고 느꼈는지에 대한 항목입니다."

연구 4 – 실제 세계의 전문 지식과 실제 세계의 자금: 연구진은 영국 기업에서 매우 숙련된 유세원(canvassers) 19명을 모집한 후, 연구 1과 동일한 과업을 시도했습니다. "AI는 여전히 전문 유세원(Professional Canvassers)보다 5.9%p(pp) 앞섰습니다." 이 효과는 실제 현금 기부 여부를 평가할 때도 지속되었습니다. 연구진은 "영국 유세 기업인 AppcoUK와 협력하여, 유세원들이 모금하기에 가장 적합한 원인인 'Save the Children'을 연구 4의 중심으로 설정했습니다. AppcoUK가 제공한 유세 팀은 2016년부터 2023년까지 해당 자선 단체를 위해 실제 모금 활동을 운영하며, 해당 기간 동안 22,583명의 기부자로부터 £824,297를 모금한 바 있습니다. AI 또는 AppcoUK에서 모집된 18명의 유세원 중 한 명과 대화를 나눈 후, 피설득자들에게는 £1의 연구 보너스 중 일부를 Save the Children에 기부할 수 있는 기회가 주어졌습니다." 여기서 결과는 다시 한번 유의미했습니다. 연구진은 "AI가 유세원들보다 실질적으로 더 많은 현금 기부를 유도했으며, £1 보너스의 +10.8%p(pp)만큼 그들을 앞질렀다"라고 기록했습니다. AI는 "무언가를 기부한 피설득자의 비율과 기부자들 사이의 평균 기부액 모두를 높였습니다."

이것이 중요한 이유 – 만약 AI가 우리보다 더 뛰어난 설득력을 발휘할 수 있다면, AI를 통제하는 이들이 사회를 변화시킬 수 있습니다: 그들은 "인간 전문가조차 능가하는 설득력을 가진 AI의 한 가지 효과는 이미 강력한 권력을 가진 행위자들 사이의 영향력 결집이 될 수 있다"라고 기술했습니다. 반면에, "매우 유능한 설득력이 저렴하고 널리 이용 가능해진다면, 자원이 부족한 행위자들(예: 본인 소송 당사자 및 국선 변호인, 소규모 자선 단체, 풀뿌리 활동가)이 더 확고한 기반을 갖추고 자금력이 풍부한 경쟁 상대에 맞서 경쟁하는 데 도움을 줄 수 있으며, 이는 정의에 대한 접근성 측면에서 오랫동안 존재해 온 격차를 좁히고 더 광범위하게 시민 옹호 활동을 지원할 수 있습니다"라고 덧붙였습니다.

이는 우리 앞에 놓인 사회적 선택을 제시합니다. 즉, 설득 목적으로 사용되는 AI를 어떻게 모니터링할 것인지, 그리고 이러한 능력이 다양한 행위자들 사이의 권력 균형을 어떻게 변화시키는지 어떻게 확인할 것인가의 문제입니다. 우리는 이러한 능력을 오로지 시장이 배분하도록 내버려 두기를 원합니까? 그것은 하나의 방법이 될 수 있지만, 광고나 마케팅 같은 것들이 훨씬 더 효과적으로 변하여 아마도 부정적인 외부 효과 (negative externalities)를 창출할 것임을 암시합니다. 반대로, 설득 능력을 오로지 정부의 영역으로 만든다면, 정부 내에 권력이 집중될 위험이 있습니다. 이는 권위주의 정권이 권력을 유지하기 위해 이를 휘두를 경우 매우 위험할 수 있는 일입니다. 우리는 이 기술을 어떻게 다룰지에 대해 선택을 내려야 하며, 정치계의 격언처럼 '투표하지 않는 것도 투표하는 것'입니다.

"우리의 연구 결과는 프런티어 AI (frontier AI)가 우리가 모집할 수 있는 가장 준비되어 있고, 동기 부여가 되어 있으며, 전문적인 인간보다 더 유능한 대화형 설득자임을 입증합니다. 인간을 교육하는 것은 그 격차를 좁히지 못하는 것으로 보입니다"라고 그들은 썼습니다. "이러한 시스템에 대한 접근성이 계속 증가함에 따라, 문제는 더 이상 AI가 인간보다 더 잘 설득할 수 있는지 여부가 아니라, 이 능력이 어떻게, 어디에서, 그리고 누구를 대신하여 행사될 것인가 하는 점입니다."

더 읽어보기: AI systems out-persuade expert humans (arXiv)

연구 (AISI 연구원 Kobi Hackenburg)에 관한 트위터 스레드 (Tweet thread).

---

**언제쯤 자급자족이 가능한 AI를 얻을 수 있을까요? 이는 전적으로 휴머노이드 로봇에 달려 있습니다:
**_...RSI(재귀적 자기 개선) 이후에는 무엇이 올까요? 자가 유지 AI (Self-sustaining AI)…
_저는 올해 많은 시간을 재귀적 자기 개선 (Recursive Self-Improvement, RSI)에 대해 글을 쓰며 보냈습니다. 이는 우리가 곧 스스로의 후계자를 자율적으로 설계할 수 있을 만큼 똑똑한 AI 시스템을 구축할 수도 있다는 개념입니다. 하지만 RSI는 여전히 데이터 센터를 필요로 하며, 이러한 데이터 센터는 장비와 전기, 그리고 그 외의 모든 것들을 필요로 합니다.
Asterisk 잡지의 흥미로운 인터뷰에서는 우리가 언제쯤 자가 유지 AI를 얻을 수 있을지에 대한 질문을 던집니다. 인터뷰 대상자 중 한 명인 예측가이자 METR 소속인 Ajeya Cotra는 이를 다음과 같이 정의합니다: “물리적 인프라(공장, 광산, 팹(fabs), 그리고 이 모든 것을 운영할 로봇)와 통합된 AI 시스템 — 즉, 자신의 개체 수를 계속 늘려나가는 데 있어 인간 노동으로부터 어떠한 인지적 또는 물리적 입력도 필요하지 않은 상태.”

그것은 얼마나 멀리 있습니까? Ajeya는 우리가 10년 이내(즉, 2036년까지)에 자가 유지 AI를 얻을 수 있다고 생각합니다. 또 다른 인터뷰 대상자인 저널리스트이자 <Understanding AI>의 저자인 Timothy B. Lee는 훨씬 더 긴 타임라인을 제시합니다: “20년 이내에 일어날 확률은 10% 미만입니다. 저는 결코 일어나지 않을 확률이 10~20%라고 말하겠으며, 저의 중앙값(median)은 50년입니다.”

어떤 도전 과제들이 있을까요 – 암묵지 (tacit knowledge)가 그중 하나일 수 있습니다: “반도체 산업 전체의 모든 직원이 사라진다고 상상해 보십시오. 기계와 교과서는 남아 있지만, 사람은 아무도 없습니다. 인류의 나머지 구성원들이 팹 (fabs)을 재가동하는 데 얼마나 걸릴까요? 수십 년이 걸릴 가능성도 충분합니다. 교과서가 있다고 하더라도, 이 기계들 안에는 많은 암묵지 (tacit knowledge)가 들어 있기 때문입니다,”라고 Lee는 언급합니다. 이에 대해 Ajeya는 기술이 이를 우회할 수 있을 것이라고 답변합니다: “암묵지 가설에 대해 두 가지 반론이 있습니다. 하나는 대만 노동자가 하던 일을 자동화하는 것이 수익성이 높기 때문에, 우리는 그 암묵지에 대해 강화학습 (reinforcement learning)을 적용하여 훈련된 AI 시스템을 보유하게 될 것이라는 점입니다. 다른 하나는 AI가 새로운 것을 시도하고, 교과서를 읽으며, 효율적으로 실험함으로써 빠르게 새로운 것을 알아내는 의미에서 매우 일반적인 지능 (generally intelligent)을 갖게 될 수도 있다는 점입니다.”

사람들이 자가 유지 AI (self-sustaining AI)가 곧 도래할 것이라고 믿기 위해 향후 2~3년 내에 무엇을 확인해야 할까요?
Ajeya: “저는 로봇 손의 개선도를 보여주는 그래프의 선 하나와, 휴머노이드 로봇을 제조하는 속도를 보여주는 또 다른 선을 보고 싶습니다. 그리고 인지적 측면에서는 환경의 섭동 (perturbations)에 대한 강건성 (robustness)과 같은 것들을 평가하는 벤치마크 (benchmarks)에 주목할 것입니다.”
Timothy: “저는 휴머노이드 로봇이 어떻게 발전하는지 지켜보고 싶습니다. 로봇의 수, 그들의 능력, 그리고 특히 비용과 수리 가능성 (repairability)을 말입니다.”

이것이 중요한 이유 – 진정한 장악(takeover)은 인간의 불필요성(human redundancy)을 요구합니다: 대부분의 극단적인 파멸적 전망(maximalist doom visions)은 AI가 더 이상 인간을 전혀 필요로 하지 않을 능력을 갖추는 것을 전제로 합니다. 이는 자가 유지 AI(self-sustaining AI)로 향하는 진척도를 측정하는 것이 중요한 이유인데, 이는 곧 구축되고 있는 합성 지능(synthetic intelligences)과 협상함에 있어 인간이 가진 영향력(leverage)이 감소하고 있음을 암시적으로 나타내는 척도이기 때문입니다.
더 읽어보기: How Long Until AI Doesn’t Need Humans?, Ajeya Cotra, Timothy B. Lee (Asterisk magazine).

---

DeepMind, 범용 지능에서 초지능으로 가는 경로를 고찰하다:
**...불가능해 보이는 미래를 탐구하는 것이 AI의 궁극적인 성공에 대비할 수 있는 유일한 방법입니다...
_Google DeepMind의 연구원들은 우리가 범용 지능(general intelligences)을 구축한 세상에서 초지능(super intelligences)을 구축한 세상으로 어떻게 전환할 수 있는지에 대한 개요를 담은 논문을 발표했습니다. 이는 중요한 시기에 발표된 중요한 논문입니다. 현재 세계는 범용 지능을 구축하고 있으며(우리가 이미 이 지표에 도달했는지에 대해서는 논쟁의 여지가 있을 수 있지만, 현대의 LLM을 보면 우리가 그 근처에 와 있다는 것은 분명합니다), 향후 몇 년 안에 우리는 인공 초지능(ASI)을 구축하는 단계로 전환할 수도 있습니다.
ASI는 "인간 활동의 거의 모든 작업과 영역에서 대규모 인간 전문가 집단의 성능을 능가하는 시스템"이라고 저자들은 기술합니다. "질적으로 ASI는 인간 수준의 AGI와 비교했을 때 전반적으로 훨씬 더 뛰어난 능력을 갖추고 있습니다. 단일 ASI는 세상과 병렬적으로 상호작용하는 수백만 개의 인스턴스 집합으로 구성될 수 있음에 유의하십시오 (오늘날의 LLM과 유사합니다)."

ASI가 가능할 것이라고 생각하는 이유: ASI를 생각하는 한 가지 방법은, 디지털 지능이 생물학적 지능에 비해 갖는 다음과 같은 모든 역량을 활용하는 강력한 AI 시스템과 같다고 보는 것입니다: 더 나은 입출력 속도(input and output speeds); 내부 처리 속도(internal processing speeds); 작업 기억 용량(working memory capacity) 및 암기 능력; 기질 독립성(substrate independence); 손실 없는 복제(lossless replication); 그리고 (학습) 경험의 고대역폭 공유(high-bandwidth sharing).

ASI로 가는 경로와 병목 현상:
컴퓨팅(Compute), 모델, 데이터의 스케일링(Scaling): 단순히 오늘날의 접근 방식들을 확장(scaling up)하는 것만으로도 충분할 수 있습니다. 하지만 이는 또한 이러한 모델들을 위한 컴퓨팅 양과 데이터 양을 지속적으로 확장할 것을 요구하며, 이는 에너지와 데이터 공급 모두에서 한계에 부딪힐 수 있습니다. 이전의 모든 징후들이 스케일링의 지속적인 효과를 가리키고 있지만, 우리는 어떤 구체적인 역량이 나타날지, 혹은 어느 시점에 스케일링이 수확 체감(diminishing returns)의 법칙에 직면할지는 예측할 수 없습니다.