AI가 AI를 만들기 시작할 때, 감속 논의는 현실이 된다

Anthropic이 2026년에 공개한 AI 거버넌스(AI Governance)에 관한 글이 중요하게 보이는 이유는, 그것이 경쟁의 내부에서 나온 말이기 때문이다. 프런티어 연구소(Frontier Lab)가 자사 모델로 자사의 개발을 이미 가속하고 있는 상황을 설명하며, 그 순환이 더욱 밀접해졌을 때 어떤 일이 일어날지를 묻고 있다.

중심에 있는 개념은 재귀적 자기 개선(Recursive Self-Improvement)이다. 간단히 말하면, AI 시스템이 다음 시스템을 설계하고, 만들고, 시험하고, 개선하는 과정에 인간의 노동이 거의 들어가지 않게 되는 순간을 가리킨다. Anthropic은 그 순간은 아직 멀리 있으며, 도래 여부도 불확실하다고 말한다. 난처한 점은 이미 그 방향으로 기울고 있음을 보여주는 증거가 있다는 것이다.

가장 강력한 신호는 코드에 있다. Anthropic에 따르면, 2026년 5월 시점에 동사의 프로덕션 코드베이스(Production Codebase)에 머지(Merge)된 코드의 80퍼센트 이상이 Claude에 의해 작성되었다. 2025년 2월에 Claude Code가 연구 프리뷰(Research Preview)로 등장하기 전, 그 비율은 한 자릿수 초반이었다. 동사는 또한 현재의 평균적인 Anthropic 엔지니어가 2021년부터 2025년 사이의 엔지니어에 비해 분기당 약 8배의 코드를 출하(Ship)하고 있다고 말한다. 코드 라인 수는 거친 지표이지만, 방향성은 무시하기 어렵다. 병목 현상(Bottleneck)은 입력 작업에서 지시, 리뷰, 무엇을 만들 것인지에 대한 결정으로 옮겨갔다.

이 변화가 중요한 이유는 모델 개발이 반복 루프(Iterative Loop)로 이루어지기 때문이다. 코드를 쓰고, 실험을 돌리고, 실패를 조사하고, 인프라를 고치고, 결과를 비교하고, 계획을 바꾸고, 다시 반복한다. 모델이 각 루프를 압축할 수 있다면 진보는 쌓여간다. Anthropic은 Claude가 자유도가 높은 코딩 과제에서 크게 성장하여, 2026년 5월에는 가장 어려운 사내 카테고리에서 76퍼센트의 성공률에 도달했다고 보고했다. 작은 연구형 최적화 과제에서는 2025년 5월의 약 3배 가속에서, 2026년 4월의 Mythos Preview에서 약 52배까지 늘어났다. 이러한 수치는 회사가 보고한 증거로 다루어야 하지만, 프런티어 연구소가 내부에서 무엇을 보고 있는지를 잘 보여준다.

진정한 질문은 판단이다. 코드를 작성하거나 테스트를 실행하는 것은 많은 기술 워크플로우(Technical Workflow)에서 이미 쉬운 부분이 되었다. 어떤 문제를 선택할지, 어떤 결과가 중요한지, 어떤 측정이 오해를 불러일으키는지, 어떤 방향이 막다른 길인지를 간파하는 능력은 아직 인간 측에 많이 남아 있다. Anthropic은 이를 강력한 AI 지원과 완전한 재귀적 자기 개선 사이에 남은 차이라고 보고 있다. 이 차이가 좁혀지면 프런티어 개발에서 인간의 역할은 제작자보다는 가상 연구소의 리뷰어(Reviewer), 감사자(Auditor), 통치자(Governor)에 가까워진다.

그렇기에 Anthropic은 프런티어 개발을 협력하여 늦추거나, 일시적으로 멈추는 선택지를 가져야 한다고 촉구했다. 표현이 중요하다. 한 기업만이 단독으로 멈춘다면 주로 경쟁자에게 우위를 넘겨주는 결과가 된다. 의미 있는 정지를 위해서는 여러 국가에 있는 충분한 자금을 가진 여러 연구소가 동일한 조건에 합의하고, 서로의 준수를 확인하며, 무엇이 정지를 시작하게 할지를 결정하고, 무엇이 재개를 가능하게 할지를 결정하며, 몰래 앞서 나가는 행위자를 방지해야 한다. Reuters는 이를 협력적이고 검증 가능한 계획으로 설명했다. Scientific American은 정치적인 어려움을 강조하며, 일부 비판자들이 이 제안을 비현실적이거나, 선두에 있는 연구소가 자사의 우위를 유지하면서 규제의 방향을 형성하는 방법으로 보고 있다는 점을 소개했다.

두 가지 반응은 동시에 성립한다. 리스크는 심각할 수 있으며, 제안된 거버넌스의 경로는 여전히 매우 어렵다. 훈련 실행(Training Run)은 과거의 많은 전략 기술보다 숨기기 쉽다. 계산 자원, 인재, 모델의 가중치(Weights), 데이터 파이프라인, 민간 인프라는 기업과 국가에 분산되어 있다. 정지 중에 몰래 앞서 나갈 유인은 매우 크다. 남은 주자가 프런티어를 차지할 수 있기 때문이다. 검증할 수 없는 정지는 연출에 불과하다. 브레이크 없는 경쟁은 공공의 결과를 건 도박이 된다.

따라서 AI 자기 개선의 실제 의미는 SF와 일반적인 소프트웨어 진보 사이에 있으며, 이미 운영상의 무게를 갖고 있다. 이는 프런티어 AI를 사용하는 모든 조직에 더 강력한 리뷰 순환이 필요하다는 것을 의미한다. 모델이 생성한 작업의 감사 기록, 긴 과제를 시험하는 평가 세트(Evaluation Set), 연구 주장의 출처, 자율적 에이전트(Autonomous Agent)의 제어, 속도가 이해를 앞지르고 있지는 않은지를 묻는 사람이 필요해질 것이다. 인간의 병목 현상은 상위 단계로 이동하면서도, 눈에 보이는 형태로 남아 있어야 한다.

연구자나 기술 라이터에게 있어, 이 새로운 워크플로우는 지식 생산을 뒷받침하는 도구들까지 변화시킨다. ChatGPT는 흩어져 있는 출처 메모를 구조화된 논의로 변환하며, 공개 전 취약한 가설을 찾아내는 데 도움을 준다. Miss Formula는 AI 연구 자료가 초안으로 넘어갈 때, 수식 이미지를 사용 가능한 수식으로 변환할 수 있다. Editable Figure는 AI가 생성한 논문 도표를 편집 가능한 벡터 그래픽 (Vector Graphics)으로 변환하여, 도표의 수정, 번역, 그리고 신중한 검토 (Peer Review)에 기여한다. 이러한 도구들은 거대한 흐름 속의 작은 사례들이다. AI는 업무 속도를 높이며, 인간에게는 그 결과물을 더 잘 검사할 수 있는 방법이 필요해진다.

Anthropic의 입장에서 가장 어려운 부분은, 연구소가 능력을 확장하는 속도보다 더 빠르게 사회적 협력을 구축하라고 요구하고 있다는 점이다. 이는 거의 불가능하게 들릴 수도 있지만, 다른 길은 기술적 루프 (Technical Loop)가 닫힌 후에야 거버넌스 (Governance) 문제를 깨닫게 되는 것을 의미한다. 더 나은 대응을 위해서는 긴급성과 규율이 모두 필요하다. 재귀적 자기 개선 (Recursive Self-improvement)을 프런티어 과학 (Frontier Science)의 문제가 되기 전에, 가까운 시일 내의 관리 문제로 다루는 것이다. 세계에는 신뢰할 수 있는 측정치를 제공하고, 헤드라인에 떠밀리기 전에 움직일 수 있는 제도, 그리고 내부의 가속화를 충분히 공개하여 다른 사람들이 그 이해관계 (Stakes)를 이해할 수 있도록 하는 AI 연구소가 필요하다.