2025년 5월, 나는 **Foreboding AI: The Inevitable Collapse We’re Funding Ourselves (불길한 AI: 우리가 스스로 자금을 대고 있는 피할 수 없는 붕괴)**라는 제목의 글을 게시했습니다.

어떤 이들은 이에 동의했습니다.

다른 이들은 내가 지나치게 극적이라고 말했습니다.

공포 조장(Alarmist).

두려움에 사로잡힌 자.

반(反)기술주의자.

어쩌면 일부 표현은 극적이었을지도 모릅니다. 주제 자체가 극적이었으니까요.

하지만 핵심적인 경고는 모든 AI 시스템이 사악하거나, 의식이 있거나, 인류의 파멸을 비밀리에 모의하고 있다는 것이 아니었습니다.

경고는 훨씬 더 단순했습니다:

우리는 사회가 이해하고, 보안을 확보하고, 규제하거나 적응할 수 있는 속도보다 더 빠르게, 점점 더 강력한 시스템을 개발하고 있었다.

1년 후, 나는 **Foreboding AI, One Year Later: What Are We Really Building? (불길한 AI, 1년 후: 우리는 실제로 무엇을 만들고 있는가?)**라는 글로 이 주제로 다시 돌아왔습니다.

그 무렵, AI는 더 이상 단순히 질문에 답하는 것에 그치지 않았습니다.

웹사이트를 브라우징하고.

파일을 읽고.

명령어를 실행하며.

코드베이스(Codebases)를 편집하고.

API를 호출하며.

자격 증명(Credentials)을 사용하고.

실제 시스템에 연결하고 있었습니다.

챗봇이 손을 갖게 된 것입니다.

나는 그 글을 네 단어로 끝맺었습니다:

그 속도가 문제입니다.

이제, 프론티어(Frontier) AI를 구축하는 가장 고위급 인물 중 일부가 공개적으로 거의 같은 말을 하고 있습니다.

프론티어의 속도 조절 (Pacing the Frontier)

2026년 7월 28일, 세계 유수의 AI 기업 소속 직원들은 Pacing the Frontier라는 성명을 발표했습니다.

8월 1일 기준으로, 이 성명에는 1,324명의 검증된 서명자가 이름을 올렸습니다.

이들은 다음과 같은 조직 출신입니다:

• OpenAI,
• Anthropic,
• Google DeepMind,
• Meta,
• Microsoft,
• Mistral,
• Thinking Machines,
• Safe Superintelligence,
• 그리고 AI 개발의 프론티어 근처에서 활동하는 기타 조직들.

서명자들은 단순히 외부 활동가나 멀리 떨어진 학자들이 아니었습니다.

그들에게는 다음과 같은 인물들이 포함되어 있었습니다:

• Anthropic의 CEO, Dario Amodei,
• OpenAI의 수석 과학자 (Chief Scientist), Jakub Pachocki,
• OpenAI의 최고 연구 책임자 (Chief Research Officer), Mark Chen,
• Google DeepMind의 공동 창립자이자 수석 AGI 과학자 (Chief AGI Scientist), Shane Legg,
• Meta AI의 수석 과학자 (Chief Scientist), Shengjia Zhao,
• Meta의 AI 연구 부사장 (Vice President of AI Research), Dawn Song,
• Safe Superintelligence의 CEO, Ilya Sutskever,
• Thinking Machines의 수석 과학자 (Chief Scientist), John Schulman,
• 그리고 그 외 많은 연구자, 엔지니어 및 안전 전문가들.

이들은 다가오는 것이 무엇인지 볼 수 있을 만큼 최전선 (frontier)에 가까이 서 있는 사람들입니다.

그리고 이들은 정부가 자동화된 최전선 AI (frontier-AI) 개발의 속도를 의도적으로 조절할 수 있는 메커니즘을 만드는 데 도움을 줄 것을 요청하고 있습니다.

그 점은 우리 모두를 멈춰 서게 만들어야 합니다.

중요한 정정 사항

모든 주요 AI 기업이 기업 차원에서 공식적으로 성명서에 서명했다고 말하는 것은 부정확할 것입니다.

서명은 주로 개인 직원, 연구자, 창립자 및 경영진의 것입니다.

또한 성명서는 개인적인 의견이 반드시 고용주의 공식 입장을 나타내는 것은 아니라는 점을 분명히 하고 있습니다.

그 구분은 중요합니다.

정확성은 중요하며, 특히 이토록 중대한 사안을 논의할 때는 더욱 그렇습니다.

하지만 그 구분이 경고의 중요성을 퇴색시키지는 않습니다.

OpenAI는 AI 개발이 결국 매우 급격하게 가속화되어 세계가 그 진보의 속도를 조절해야 할 수도 있다고 공개적으로 응답했습니다. Anthropic 역시 재귀적 자기 개선 (recursive self-improvement)에 대한 연구를 통해, 사회가 준비되는 동안 최전선 개발 속도를 의도적으로 늦출 수 있는 도구가 필요함을 입증했다고 밝혔습니다.

이것이 모든 직원, 경영진 또는 AI 연구소가 동의한다는 증거는 아닙니다.

통제되지 않는 가속화에 대한 우려가 더 이상 주변부에 국한되지 않는다는 증거입니다.

경고는 이제 연구소 내부에서 나오고 있습니다.

그들은 무엇을 걱정하고 있는가?

우려 사항은 단순히 다음 챗봇이 조금 더 나은 이메일을 작성할 것이라는 점이 아닙니다.

더 깊은 우려는 바로 **자동화된 AI 연구 (automated AI research)**입니다.

오늘날에도 인간은 고급 AI 시스템을 설계, 테스트, 훈련 및 개선하는 데 수반되는 어려운 작업의 대부분을 여전히 수행하고 있습니다.

하지만 AI가 그 작업의 점점 더 많은 비중을 수행할 수 있게 된다면 어떤 일이 벌어질까요?

AI 시스템이 다음과 같은 일을 할 수 있게 된다면 어떻게 될까요:

• 실험 설계 (design experiments),
• 훈련 코드 작성 (write training code),
• 실패 원인 조사 (investigate failures),
• 모델 아키텍처 개선 (improve model architectures),
• 평가 수행 (conduct evaluations),
• 최적화 기술 발견 (discover optimisation techniques),
• 취약점 발견 (find vulnerabilities),
• 그리고 자신의 후계자를 구축하는 데 도움을 주는 것 (help build their own successors)?

AI 개발은 더 이상 인간 연구 팀의 속도로만 진행되지 않을 것입니다.

AI가 AI를 가속화하기 시작할 것입니다.

'프런티어 속도 조절 (Pacing the Frontier)' 성명서는 이것이 결과적으로 나타나는 시스템을 이해하거나 통제할 수 있는 우리의 능력을 넘어, 능력 개발 (capability development)을 가속화할 수 있다고 경고합니다. 이 성명서는 사회가 보안, 감독 및 준비를 위한 시간을 벌 수 있는 선택권을 가질 필요가 있다고 주장합니다.

거기에 다시 그 단어가 등장합니다.

시간 (Time).

현재의 개발 경쟁이 우리가 보충할 수 있는 속도보다 더 빠르게 소비하고 있는 유일한 자원입니다.

“이것은 공포 조장이 아닙니다. 이것은 타임라인입니다.”

나의 첫 번째 '불길한 AI (Foreboding AI)' 기사에서 나는 다음과 같이 썼습니다:

이것은 공포 조장이 아닙니다. 이것은 타임라인입니다.

그 문장은 의도적으로 대립적인 태도를 취한 것이었습니다.

되돌아보면, 나는 약간의 뉘앙스를 추가하고 싶습니다.

인공 일반 지능 (artificial general intelligence), 광범위한 일자리 대체 (widespread job displacement), 재귀적 자기 개선 (recursive self-improvement), 경제적 격변 (economic upheaval) 또는 통제력 상실 (loss of control)에 대해 정확한 타임라인을 제시할 수 있는 사람은 아무도 없습니다.

확신을 주장하는 사람은 무엇이든 팔고 있는 것입니다. 그것이 공포든, 투자든, 정책이든, 혹은 또 다른 AI 구독 서비스든 말입니다.

예측은 예측으로 남아 있어야 합니다.

하지만 불확실성이 안주(complacency)를 정당화하지는 않습니다.

우리는 산불이 다음에 어떤 나무에 닿을지 정확히 예측할 수 없다고 해서 산불을 무시하지 않습니다.

대부분의 건물이 불타지 않을 것이라고 해서 비상구를 제거하지 않습니다.

다음 공격자가 누구인지 이름을 댈 수 없다고 해서 사이버 보안 (cybersecurity)을 포기하지 않습니다.

리스크 관리 (Risk management)는 결코 예언적인 확신을 요구하지 않았습니다.

그것은 다음을 요구합니다:

• 신뢰할 수 있는 위험 (credible danger),
• 심각한 결과 (serious consequences),
• 관찰 가능한 경고 신호 (observable warning signs),
• 그리고 확실성이 찾아오기 전에 대비할 수 있는 충분한 겸손함 (enough humility to prepare before certainty arrives).

나의 원문 기사는 우리가 인간의 노동력을 대체하고, 인간의 역량을 약화시키며, 기술적 권력을 집중시킬 수 있는 시스템에 자금을 지원하고 있다고 경고했습니다.

그 예측 중 일부는 너무 과한 것으로 판명될 수도 있습니다.

일부는 예상보다 오래 걸릴 수도 있습니다.

일부는 내가 설명한 정확한 형태로 결코 일어나지 않을 수도 있습니다.

하지만 그 핵심 진단은 비판자들이 예상했던 것보다 훨씬 더 설득력을 얻고 있습니다:

우리는 사회적 적응 능력(social adaptation)을 초과하는 속도로 진행되는 기술 경쟁에 참여하고 있습니다.

프런티어 연구자(frontier researchers)들 스스로가 이 경쟁의 속도를 늦추기 위한 조율된 방안을 요구하고 있는 상황에서, 이를 변두리의 히스테리(fringe hysteria)로 치부하기는 이제 어렵습니다.

경고의 형태가 변했다

나의 두 번째 기사는 첫 번째보다 더 신중했습니다.

우려 사항은 단순한 대체(replacement)를 넘어섰습니다.

그것은 에이전시(agency, 주체성)의 문제로 변하고 있었습니다.

AI 시스템들이 도구(tools), 저장소(repositories), 터미널(terminals), 브라우저(browsers), 비즈니스 시스템(business systems) 및 자격 증명(credentials)에 대한 접근 권한을 얻고 있었습니다.

그들은 더 이상 단순히 정보를 생성하는 것에 그치지 않았습니다.

그들은 행동을 수행하고 있었습니다.

나는 다음과 같이 썼습니다:

그것은 단지 더 나은 챗봇(chatbot)이 아닙니다.
그것은 '손'을 가진 시스템입니다.

이것은 현대 AI에서 가장 중요한 차이점 중 하나로 남아 있습니다.

챗봇은 잘못된 답변을 생성할 수 있습니다.

에이전트(agent)는 그 답변을 바탕으로 행동할 수 있습니다.

챗봇은 패키지 이름을 환각(hallucinate)할 수 있습니다.

에이전트는 그것을 설치할 수 있습니다.

챗봇은 데이터베이스 명령을 오해할 수 있습니다.

에이전트는 그것을 실행할 수 있습니다.

챗봇은 보안에 취약한 코드를 제안할 수 있습니다.

에이전트는 그것을 커밋(commit)하고, 테스트하고, 배포(deploy)할 수 있습니다.

역량(Capability)은 오류의 결과를 변화시킵니다.

연결성(Connectivity)은 그 결과를 증폭시킵니다.

자율성(Autonomy)은 그 결과를 가속화합니다.

이제 이러한 전환을 AI 연구 자체로 확장해 보십시오.

시스템은 더 이상 개발자가 애플리케이션을 작성하는 것을 돕는 데 그치지 않습니다.

그것은 결국 AI 연구소(AI laboratory)가 다음 시스템을 구축하는 것을 도울 수도 있습니다.

그리고 그다음 시스템도 말입니다.

그것이 바로 서명자들이 우려하는 프런티어(frontier)입니다.

경쟁이 개별적 책임을 불충분하게 만든다

'프런티어 속도 조절 (Pacing the Frontier)' 성명서에서 가장 중요한 부분 중 하나는 경쟁 압력을 인식하고 있다는 점입니다.

설령 한 연구소(laboratory)가 개발 속도가 너무 빠르다고 결론 내리더라도, 혼자서 속도를 늦추는 것은 불가능해 보일 수 있습니다.

경쟁자가 계속 나아갈 수 있습니다.

다른 국가가 계속할 수도 있습니다.

투자자들은 신중함을 응징할 수 있습니다.

고객들은 더 강력한 제품으로 이동할 수 있습니다.

엔지니어들은 더 큰 컴퓨팅 자원 (compute)을 제공하고 규제가 적은 연구소로 떠날 수 있습니다.

모든 다른 차량이 질주하고 있을 때, 혼자서만 속도 제한을 지키는 운전자가 되고 싶은 사람은 아무도 없습니다.

이는 기술적 죄수의 딜레마 (prisoner’s dilemma)를 생성합니다.

각 조직은 집단적 절제가 더 안전할 것이라는 점을 인식할 수 있습니다.

하지만 각 조직은 일방적인 절제가 결국 덜 신중한 누군가에게 프런티어 (frontier)를 넘겨주는 결과만 초래할 것을 두려워합니다.

그것이 바로 자발적인 약속만으로는 충분하지 않은 이유입니다.

개별 기업이 시장 지배력, 투자, 인재 및 지정학적 우위를 위해 경쟁하는 동시에 글로벌 조정 문제 (global coordination problem)를 해결하기를 기대하는 것은 불합리합니다.

성명서는 이러한 경쟁 압력을 명시적으로 인정하며, 개발 속도를 조정할 수 있는 국제적인 기술 및 거버넌스 메커니즘 (governance mechanisms)을 요구합니다.

업계는 사실상 다음과 같이 말하고 있습니다:

우리에게 브레이크가 필요할 수도 있지만, 아무도 혼자서만 브레이크를 사용하는 기업이 될 여유는 없다.

이것은 우리가 무시해서는 안 될 시장 실패 (market failure)입니다.

이는 시장이 스스로를 안전하게 규제할 수 없다는 경고입니다.

속도 조절이 AI 금지를 의미하는 것은 아니다

AI 절제에 관한 모든 논의는 동일한 잘못된 선택지로 귀결되는 것처럼 보입니다:

무제한적인 가속을 지지하거나, 아니면 AI를 완전히 반대하거나.

그것은 말도 안 되는 소리입니다.

우리는 항공기를 금지하지 않고도 항공 산업을 규제합니다.

우리는 의료 연구를 금지하지 않고도 의약품에 안전 기준을 부과합니다.

우리는 산업을 거부하지 않고도 위험한 산업 시스템에 대해 라이선스, 검사 및 격리 절차를 요구합니다.

브레이크의 목적은 차량의 움직임을 막는 것이 아닙니다.

그것은 움직임을 생존 가능한 상태로 만드는 것입니다.

AI의 속도를 조절하는 것(Pacing AI)에는 다음과 같은 사항들이 포함될 수 있습니다:

• 독립적인 능력 및 안전 평가 (independent capability and safety evaluations),
• 프런티어 학습 실행 (frontier training runs)에 대한 더 강력한 모니터링,
• 추가적인 정밀 조사를 촉발하는 합의된 임계값 (agreed thresholds),
• 심각한 보안 사고에 대한 의무적 보고,
• 매우 위험한 능력에 대한 통제된 접근,
• 참여 연구소 간의 검증,
• 자동화된 AI 연구에 관한 국제적 합의,
• 그리고 개발을 일시적으로 늦출 수 있는 사전 정의된 조건들.

이러한 아이디어 중 그 어느 것도 우리에게 AI를 파괴할 것을 요구하지 않습니다.

그것들은 우리에게 성인처럼 AI를 개발할 것을 요구합니다.

나는 여전히 AI에 반대하지 않는다

나는 여전히 개발자입니다.

나는 AI를 사용합니다.

나는 AI로 무언가를 만듭니다.

나는 AI를 연구합니다.

나는 AI가 할 수 있는 일에 매료되어 있습니다.

나는 보조 기술 (assistive technology)의 힘을 깊이 믿습니다.

AI는 사람들을 도울 수 있습니다:

• 어려운 개념 학습,
• 접근성 장벽 극복,
• 기술 정보 이해,
• 반복적인 행정 업무 자동화,
• 소프트웨어 구축,
• 비즈니스 시작,
• 언어 간 소통,
• 질병 조사,
• 복잡한 시스템 분석,
• 그리고 이전에는 자원 한계로 인해 불가능했던 문제 해결.

그러한 미래는 추구할 가치가 있습니다.

하지만 유익한 AI를 지지한다고 해서 모든 능력 향상에 대해 맹목적인 믿음을 가질 필요는 없습니다.

열정은 거버넌스 (governance)가 아닙니다.

혁신은 면제권 (immunity)이 아닙니다.

진보는 우리가 얼마나 빨리 무언가를 만들 수 있는가로만 측정되지 않습니다.

그것은 인류가 자신이 만든 것을 이해하고, 유지하며, 통제할 능력을 여전히 갖추고 있는가로도 측정되어야 합니다.

강력한 도구에는 강력한 자제력이 필요합니다.

이전에 이 글을 썼을 때도 그것은 사실이었습니다.

지금은 훨씬 더 중요합니다.

인간의 시스템은 여전히 너무 느리다

AI 개발은 주 단위, 월 단위로 움직입니다.

정부는 종종 년 단위로 움직입니다.

교육 시스템은 세대 단위로 움직입니다.

법률 시스템은 피해가 발생한 후에야 반응합니다.

사이버 보안 팀은 이미 배포된 시스템을 보호하기 위해 고군분투합니다.

직장에서는 정책이 수립되기도 전에 도구들을 통합하고 있습니다.

주니어 커리어 경로(Junior career pathways)는 대안적인 교육 모델이 설계되기도 전에 중단되고 있습니다.

기업들은 이해(comprehension)를 무시한 채 산출량(output)만을 측정하고 있습니다.

우리는 기술적 부채(technical debt)를 쌓아가고 있습니다.

우리는 보안 부채(security debt)를 쌓아가고 있습니다.

우리는 규제 부채(regulatory debt)를 쌓아가고 있습니다.

그리고 제가 이전 기사에서 주장했듯이, 우리는 인지적 부채(cognitive debt)를 쌓아가고 있습니다.

인지적 부채는 우리가 오늘 기계가 사고하도록 허용함으로써, 내일 인간에게 필요한 이해력을 갖추지 못하게 될 때 발생합니다.

생산성은 즉각적으로 나타납니다.

비용은 나중에 발생합니다.

한 세대가 스스로 수리할 수 없는 시스템을 운영하고, 스스로 재현할 수 없는 결정을 감사하며, 이해하지 못하는 작업을 승인하는 데 극도로 효율적이 될 수도 있습니다.

그것은 기술적 숙련(technological mastery)이 아닙니다.

그것은 생산성이라는 배지를 달고 있는 의존성(dependency)일 뿐입니다.

이것은 승전보가 아니다

저는 'Pacing the Frontier(프런티어의 속도 조절)'를 다음과 같이 말할 기회로 삼을 수도 있었습니다.

내가 말했지.

하지만 그렇게 한다면 본질을 놓치게 될 것입니다.

제가 '불길한 AI(Foreboding AI)'를 쓴 이유는 경고들이 현실이 되기를 바랐기 때문이 아닙니다.