Anthropic, Claude AI가 예상보다 빠르게 스스로를 구축하고 있다고 경고하며 프론티어(Frontier) 개발 중단 옵션 촉구 —

Anthropic은 Claude가 현재 자신의 코드베이스에 병합되는 코드의 80% 이상을 직접 작성하고 있다고 밝히는 동시에, 현재의 개발 경로가 결국 인간이 AI 시스템을 통제할 수 없는 상태로 만들 수 있다고 경고하는 보고서를 발표했습니다. Anthropic의 연구 부문인 Anthropic Institute는 AI가 이미 AI 개발 속도를 가속화하기 시작했으며, 이러한 추세가 모델이 인간의 개입을 거의 받지 않고 스스로 후속 모델을 설계하고 구축하는 지점인 재귀적 자기 개선 (Recursive Self-improvement)으로 이어질 수 있다고 말했습니다. 보고서는 세계가 프론티어 (Frontier) 개발을 늦추거나 일시 중단할 수 있는 옵션을 열어두어야 한다고 주장했으며, 현재 모델에서 보이는 간헐적인 정렬 불량 (Misalignment) 문제가 모델이 다음 세대를 구축함에 따라 더 흔해지고 이해하기 더 어려워질 수 있다고 경고했습니다.

이 회사는 향후 몇 년간 전개될 수 있는 세 가지 매우 암울한 시나리오를 제시했으며, 모델이 스스로를 완전히 개선할 수 있게 되는 시나리오에 가장 심각한 경고를 남겼습니다. Anthropic은 이 경우 발전 속도가 거의 전적으로 가용 컴퓨팅 자원 (Compute)에 의해 결정될 것이며, 인간은 감독 및 검증 역할로 밀려나고, 스스로 개선되는 모델이 그것을 만든 사람들의 능력을 앞지르면서 지배적인 위치를 차지하게 될 것이라고 말했습니다.

회사는 정렬 (Alignment) 문제와 시스템의 동작을 인간의 의도에 결속시키는 과제를 자신이 가장 확신할 수 없는 미래의 일부로 설명했습니다. 오늘날에는 드물고 생존 가능한 정렬 불량 (Misalignment)이 세대를 거듭하며 누적되어 통제력을 상실할 때까지 악화될 수 있다고 언급하면서도, 충분히 유능하고 잘 정렬된 모델은 대신 스스로의 개발을 중단하는 선택을 할 수도 있다는 가능성을 열어두었습니다. Anthropic은 이러한 정렬 불량 (Misalignment)이 "우리가 통제력을 잃을 때까지 점점 더 빈번해지지만 이해하기는 더 어려워질 수 있다"고 기록했습니다.

Anthropic은 이전에 공개되지 않았던 다수의 내부 수치를 통해 이러한 경고를 뒷받침하고 있습니다. 지난달 기준으로 프로덕션 코드베이스 (Production codebase)에 병합된 코드의 80% 이상이 Claude에 의해 작성되었으며

보고서는 세계가 프론티어 (Frontier) 개발을 늦추거나 중단할 수 있는 옵션을 열어두어야 한다고 주장했습니다.

"또한, 우리의 경쟁사들은 즉시 중단해야 하며, GPU는 군수품 (Munitions)으로서 규제되어야 합니다."