AI의 기하급수적 성장과 정책

*반지의 제왕(The Lord of the Rings)*의 부차적인 이야기 중 하나에서, 두 명의 호빗은 지혜롭지만 행동이 느린 지각 있는 나무인 '그루트(Treebeard)'를 설득하여 숲을 베어 넘기는 군대로부터 숲을 방어하도록 하려 노력합니다. 문제는 그루트가 호빗들과는 매우 다른 속도로 움직인다는 점입니다. 그가 다른 나무에게 단순히 인사를 건네는 데만 꼬박 하루가 걸리기 때문에, 그와 그의 동료들이 충분히 빠르게 행동하도록 만드는 것은 거의 불가능에 가깝습니다.

AI와 우리의 정치 제도 사이의 교차점은 마치 호빗과 그루트의 관계처럼 느껴집니다. AI는 번개 같은 속도로 발전하고 있습니다. 불과 4년 만에 AI 모델들은 일관된 코드 한 줄을 간신히 작성하는 수준에서 주요 AI 기업들의 코드 대부분을 작성하는 수준으로 진화했습니다. 생물학, 물리학, 수학, 금융, 법률, 번역 및 기타 많은 분야에서도 유사한 발전이 이루어졌습니다. 컴퓨팅 파워(Computing power)가 증가함에 따라 일반적인 인지 능력이 기하급수적으로 증가할 것이라고 예측하는 AI의 스케일링 법칙(Scaling laws)은 이제 10년 이상의 실증적 근거를 확보하고 있습니다. 만약 이러한 스케일링 법칙이 단 1~2년만 더 지속된다면, 우리는 제가 '강력한 AI(Powerful AI)', 즉 "데이터 센터 안의 천재들의 나라"라고 부르는 상태에 도달할 가능성이 높습니다.

이와 대조적으로, 정책—특히 입법—은 매우 느리게 움직입니다. 종종 이는 좋은 이유 때문입니다. 정부는 막중한 권한을 가지고 있으며, 그 권한이 너무 성급하게 사용되지 않는 것이 보통 최선이기 때문입니다. 하지만 시간 규모(Timescale)의 불일치는 그럼에도 불구하고 매우 고통스럽습니다. 의회가 행동에 옮기는 데 몇 년이 걸리는 동안, AI는 단순한 재미용 장난감에서 '천재들의 나라' 그 자체로 변할 수 있기 때문입니다.

AI가 주요 상업 기술이 된 지난 몇 년 동안, 이를 책임감 있게 다루고자 했던 우리들은 딜레마에 직면했습니다. 우리는 그 기하급수적 성장이 어디로 향하고 있는지 명확히 볼 수 있었습니다. 우리는 핵무기가 지정학 (geopolitics)을 재편하고 산업 혁명이 모든 경제적, 사회적 문제를 근본적으로 재편했던 것과 마찬가지로, AI가 몇 년 안에 전체 정책 지형을 근본적으로 재편할 몇 안 되는 기술 중 하나가 될 것이라고 강력하게 의심했습니다. 하지만 당시 AI가 무엇을 할 수 있는지에만 주목하는 사람들에게, AI는 훨씬 더 평범한 기술—아마도 최신 소비자용 앱이나 암호화폐 (cryptocurrency)와 유사한—처럼 보였습니다. 대부분의 정책 입안자와 기업들에게 자유방임 (laissez faire) 태도 이외의 다른 방식이 타당하다는 것을 설득하기는 어려웠습니다. 그리고 공정하게 말하자면, AI의 급진적인 영향이 아직 나타나지 않았고, 그 영향이 정확히 어떤 형태를 띨지 알 수 없었다는 사실은, 행동하려는 의지가 있었다 하더라도 적절한 정책을 설계하는 것을 어렵게 만들었습니다.

이러한 상황이 부과한 한계로 인해, 많은 안전 옹호론자들(Anthropic 포함)은 지금까지 선택권 (optionality)을 보존하거나, 미래에 빠른 대응을 할 수 있도록 준비를 갖추거나, 혹은 앞으로 다가올 일에 대해 세상이 더 나은 통찰력을 가질 수 있도록 하는 정책적 조치를 옹호하는 데 집중해 왔습니다. 투명성 입법 (transparency legislation), 칩에 대한 수출 통제 (export controls), 그리고 AI의 노동 영향에 대한 데이터 수집 등이 그 예입니다. 이것들만으로는 충분하지 않지만, 지금까지는 그것이 가능한 전부처럼 느껴졌습니다.

하지만 지난 몇 달 동안 AI의 놀라운 능력뿐만 아니라 그 위험성에 대한 증거 또한 부정할 수 없게 되었습니다. 아마도 가장 상징적인 사례는 Claude Mythos Preview와 프런티어 모델 (frontier models)이 사이버 보안 (cybersecurity)에 매우 실질적인 위험을 초래하여 금융 부문, 핵심 인프라 및 국가 안보를 혼란에 빠뜨릴 잠재적 가능성이 있다는 발견일 것입니다. Mythos Preview는 전 세계 사이버 보안 지형을 뒤흔들었습니다. 그러나 이것의 더 넓은 의미는 AI 모델이 이제 글로벌 및 국가적 전략적 결과 (strategic consequence)를 초래하는 도구임을 의심의 여지 없이 증명한다는 점에 있습니다. Mythos급 모델이 제시하는 사이버 위험은 우리가 직면해야 할 마지막 위험이 아닐 것입니다. 저는 생물학적 위험 (biological risks)이 곧 뒤따를 수 있으며, 심각한 AI 자율성 (AI autonomy) 위험 또한 그리 멀지 않은 곳에 있다고 믿습니다1.

이제 우리는 전 세계적으로, 그리고 집단적으로, 지금부터 놀라울 정도로 빠르게 복합적으로 나타날 위험과 기회에 대처하기 위해 느리고 불안정한 정책 기구 (policy apparatus)를 가동해야 합니다. 많은 정책 입안자들이 조치를 취하는 데 있어 점점 더 개방적인 태도를 보이고 있으며, 우리의 동료들이 지난 몇 년 동안 우리가 주장해 온 것과 동일한 입장을 취하게 된 것을 보는 것은 고무적인 일입니다. 이는 좋은 현상이지만, 저는 이러한 초기 조치들이 AI의 급격한 발전 속도보다 최소 1년은 뒤처져 있다는 점이 우려됩니다. 이 에세이는 그 격차를 줄이기 위한 시도입니다. 즉, 기하급수적 성장이 현재 어디에 와 있는지, 그리고 이 순간을 맞이하기 위해 필요한 집단적 행동이 무엇인지 제시하고자 합니다.

저는 AI 세상에서 재구상이 필요한 다섯 가지의 영구적인 정책 영역에 집중할 것입니다: 규제 및 공공 안전 (regulation and public safety), 거시경제 및 조세 정책 (macroeconomics and tax policy), 과학적 혁신 (scientific innovation), 국가와 사회 사이의 권력 균형 (the balance of power between state and society), 그리고 지정학 (geopolitics)입니다. Anthropic은 미국 기업이기에 주로 미국 정책의 관점에서 이야기하겠지만, 제 권고 사항의 대부분은 세계 나머지 지역에도 유효합니다.

이 에세이와 함께, Anthropic은 프런티어 모델 테스트(frontier model testing)에 관한 입법 제안서와 일자리 대체(job displacement)를 위한 정책 프레임워크를 발표하며, 이에 대해 상당한 재정적 지원을 제공할 계획입니다. 우리는 향후 훨씬 더 많은 일을 할 계획이지만, 이러한 조치들을 우리의 진지함을 보여주는 첫 번째 단계로 보고 있습니다.

1. 규제와 공공 안전

모든 새로운 기술이나 제품은 유익한 용도와 해로운 용도를 모두 가지고 있으며, 따라서 혁신(innovation)과 안전(safety) 사이의 딜레마를 제시합니다. 제품을 규제하는 것은 해를 끼칠 가능성을 낮추고 전 세계적으로 삶을 개선하는 데 중요한 역할을 해왔지만, 제품의 이점을 직접적으로 감소시키고 간접적으로 혁신을 저해할 수도 있습니다. 또한 규제 당국이 복잡한 경제적 상충 관계(tradeoffs)에 대해 올바른 결정을 내리는 데 필요한 정보가 부족한 경우가 많아, 규제가 종종 비효율적이면서도 부담스러운 결과를 초래한다는 하이에크적(Hayekian) 관점도 존재합니다. 이와 관련된 개념으로 콜링리지 딜레마(Collingridge dilemma)가 있는데, 이는 기술의 영향이 관리하기 너무 늦어질 때까지는 예측하기 어려운 경우가 많다는 점을 명시합니다.

이러한 역학 관계는 2023-2024년 AI 분야에서 매우 중요하게 부각되었습니다. Anthropic은 AI가 미래에 수백만 명을 위협할 수 있는 생물학적 무기를 제조하거나, 극단적인 경우 인류 자체를 위협할 수 있는 자율적 오작동(autonomous misbehavior)을 일으킬 수도 있다는 점을 분명히 인지했습니다. 다만 위험이 정확히 어떤 형태로 나타날지, 이를 테스트하고 완화하는 가장 좋은 방법은 무엇인지, 그리고 실제 상황에서 어떻게 전개될지는 명확하지 않았습니다. 따라서 사전에 작성된 법안이 실제 가장 중요한 위험 요소를 놓치면서 무의미하거나 가치가 낮은 준수(compliance) 요구 사항만을 만들어내어, 결국 비효율적인 결과로 이어질 위험이 높았습니다.

궁극적으로, 우리는 당시 적절한 접근 방식은 *투명성 (transparency)*이라는 결론을 내렸습니다. AI 모델 개발자들은 자신들의 안전 절차와 모델에 대해 실시하는 테스트를 *공개 (disclose)*해야 하며, 발생한 모든 중대한 안전 사고를 보고해야 합니다. 이를 통해 대중과 과학계가 위험이 발생함에 따라 이를 더 잘 파악할 수 있도록 해야 합니다. 위험이 더 확실해지고 그 형태가 명확해지는 시점이 오면, 투명성을 통해 얻은 증거를 바탕으로 가장 우려되는 위험을 정밀하게 겨냥하는 스마트한 입법을 설계할 수 있을 것입니다. 이에 따라, 2025년에 Anthropic은 투명성 입법을 지지하며 캘리포니아의 SB 53, 뉴욕의 RAISE, 일리노이의 SB 315(2026년 초) 통과를 도왔으며, 연방 차원의 투명성 표준을 옹호해 왔습니다.

하지만 이제 위험은 명확히 존재합니다. 이제는 투명성을 넘어 AI에 대한 더 심각하고 구속력 있는 규제로 나아가야 할 때입니다. ** 적어도 기하급수적 성장의 현재 단계에서 가장 적절한 비유는 자동차, 비행기, 또는 약물이라고 믿습니다. 이들은 현대 경제에 필수적인 강력한 기술이지만, 설계나 운영이 잘못될 경우 수많은 사람을 죽게 할 수 있습니다. 따라서 저는 AI 규제를 연방항공청 (FAA)과 같은 기관을 모델로 삼아야 한다고 믿습니다. ** 비행기처럼 프런티어 (Frontier) AI 모델도 기술적 테스트와 감사를 거쳐야 하며, 높은 안전 기준을 충족하지 못할 경우 공공 안전에 대한 위협으로 간주되어 출시가 차단되거나 철회되어야 합니다. ** 트럼프 행정부의 행정 명령이 AI에 대한 정부의 역할을 점진적으로 확대하는 방향으로 움직이는 것을 보게 되어 감사하지만, ** Anthropic의 제안은 훨씬 더 강력한 조치를 권고합니다. 우리의 제안에는 다음과 같은 요소들이 포함됩니다:

• 특정 연산량(compute) 임계값을 초과하는 모델은 사이버 보안 (cybersecurity), 생물학적 무기 (biological weapons), AI 시스템의 통제 상실 (loss of control of AI systems), 그리고 이러한 다른 위험들을 가속화할 수 있는 자동화된 연구개발 (automated R&D)이라는 네 가지 특정 분야에 대해 자격을 갖춘 제3자로부터 위험 수준에 대한 의무적인 테스트를 받아야 합니다.
• 정부는 제3자 평가 결과 수용 불가능한 위험이 있다고 판단되는 경우, 해당 모델의 배포를 차단하거나 저지할 수 있는 권한을 가져야 합니다. 이 권한은 앞서 언급한 네 가지 특정 위험으로 범위가 제한되어야 하며, 정치적 편향이나 자의적인 결정에 대비한 보호 조치가 마련되어야 합니다.
• 제3자 평가는 정부 기관(FAA와 유사한 형태)에 의해 수행되거나, 특정 표준에 따라 모델을 평가하도록 정부로부터 권한을 부여받고 감독을 받는 민간 조직 집단에 의해 수행될 수 있습니다 ("규제 시장 (regulatory markets)" 접근 방식).
• 첨단 AI 모델을 개발하는 AI 기업들은 모델 가중치 (model weights)를 보호하는 강력한 보안 표준을 갖추어야 하며, 정기적인 레드팀 (red teaming) 및 침투 테스트 (penetration testing)를 수행해야 하고, 주요 위협 행위자로부터 방어하기 위해 정부와 협력해야 합니다.
• 네 가지 핵심 분야에서의 안전 사고는 즉시 보고되어야 합니다.

어쩌면 비교적 가까운 시일 내에, 우리가 이 수준을 넘어서야 하는 때가 올 수도 있습니다. 가장 강력한 AI 시스템이 비행기나 자동차보다는 무기화 가능한 핵물질과 더 유사해 보일 때, 즉

정부들은 중요한 공공 서비스를 제공하고 가장 불우한 이들을 돌보는 동시에, 어떻게 경제 성장을 장려할 것인가라는 문제에 오랫동안 직면해 왔습니다. 이러한 논쟁의 중요한 (그리고 일반적으로는 옳은) 전제는 경제 성장은 취약하며 달성하기 어렵다는 것이었습니다. 즉, 불평등을 줄이는 것이 중요한 이점을 제공할 수는 있지만, 이는 세금 인상이나 적자 증가로 인한 경제적 저해 (economic drag)와 맞바꿔야 한다는 것입니다.

저는 강력한 AI가 이러한 가정을 뒤흔들 수 있다고 생각합니다. 만약 AI가 대부분의 인지적 작업 (cognitive tasks)을 인간보다 훨씬 더 잘 수행할 수 있는 능력을 갖추게 된다면, 과학, 기술 및 운영 효율성 (operational efficiency)의 가속화를 통해 매우 빠르고 강력한 경제 성장을 초래할 것이라는 점은 타당한 추론입니다. 더 나은 AI를 구축하는 AI의 반복적인 능력 (iterative ability)은 그러한 성장을 더욱 강력하게 추진할 수 있습니다. 하지만 정확히 같은 이유로, AI는 이전의 기술들보다 인간의 인지 능력에 대한 더 일반적인 경제적 대체재 (economic substitute)로 작용하는 동시에, 이전 기술들보다 훨씬 더 빠르게 경제를 변화시킬 수도 있습니다. 따라서 AI가 이전 기술들보다 노동 시장에 훨씬 더 큰 혼란을 일으킬 수 있으며, 잠재적으로 더 지속적인 혼란을 초래할 수 있다고 생각하는 것이 합리적입니다. 우리는 경제적 트레이드오프 (tradeoff) 조절 다이얼이 초성장(hypergrowth), 초불평등(hyper-inequality) 설정에 고정되어 버리고, 그 설정에서 벗어나기가 잠재적으로 매우 어려운 세상에 처할 위험이 있습니다. 그러한 세상에서의 핵심 과제는 성장을 장려하는 것이 아니라, 모든 사람이 그 혜택을 공유할 수 있는 방법을 찾는 것이 될 것입니다.

이 에세이에서 논의된 주제들 중 거시경제학 (macroeconomics)과 지속적인 노동 대체 (labor displacement)는 아마도 대중의 가장 많은 관심과 가장 많은 오해를 불러일으킨 주제일 것이므로, 저는 두 가지 사항에 대해 매우 명확히 하고자 합니다.