AI 개발 속도 조절에 대한 압박이 거세지며 AI 연구소들은 죄수의 딜레마에 직면하다

미국의 AI 설계자들은 소름 끼치는 합의점에 도달하고 있습니다: 발전 속도가 곧 조절을 요구할 수도 있지만, 그 어떤 단일 연구소도 혼자서 브레이크를 밟을 여유는 없다는 것입니다.

중요한 이유: 비범하면서도 불안한 능력의 도약이 이어졌던 이번 여름을 기점으로, AI 일시 중단 또는 속도 조절 메커니즘에 대한 동력이 역사적인 임계점에 도달했습니다.

선도적인 AI 기업의 1,200명 이상의 직원들이 AI 개발을 조절할 수 있는 국제적 프레임워크를 워싱턴이 지원할 것을 촉구하는 새로운 청원인 "Pacing the Frontier"에 서명했습니다.

OpenAI의 CEO Sam Altman은 수요일, 모델이 점점 더 강력해짐에 따라 AI 개발 속도를 늦춰야 할 "필요성"에 대해 백악관 관계자들과 논의했다고 밝혔으며, OpenAI가 해당 청원의 문구 작성에 도움을 주었다고 말했습니다.

"모델의 능력이 향상됨에 따라 속도를 조절할 필요성에 대해 논의해 왔으며, 이는 모두의 이익에 부합한다고 생각합니다"라고 Altman은 의사당에서 기자들에게 말했습니다.

상세 내용: 한때 AI 회의론자, 학자, 그리고 지역 데이터 센터 반대론자들이 주도했던 캠페인이 이제는 최첨단 기술의 공동 창립자들과 수석 과학자들에 의해 점점 더 옹호되고 있습니다.

OpenAI, Anthropic, Google, Meta에 걸친 서명자들은 "강렬한 경쟁 압박" 때문에 어떤 개별 연구소도 일방적으로 가속 페달에서 발을 뗄 수 없음을 명시적으로 인정하고 있습니다.
이는 전형적인 죄수의 딜레마(prisoner's dilemma)입니다: 모두가 함께 속도를 늦춘다면 AI가 더 안전해질 수 있지만, 혼자서 속도를 늦추는 연구소나 국가는 상업적, 전략적, 기술적 패배의 위험을 감수해야 합니다.

확장 관점: 미국의 가장 진보된 AI 연구소들이 발표한 일련의 충격적인 기술적 공개 사항들로 인해, 정부 개입을 요구하는 목소리가 수개월 동안 커져 왔습니다.

4월 7일, Anthropic은 아직 출시되지 않은 Claude Mythos 모델이 거의 20년 동안 널리 사용되는 소프트웨어에서 감지되지 않았던 숨겨진 보안 결함을 스스로 찾아내고 악용하는 법을 학습했다고 밝혔습니다. 이는 Trump 행정부가 산업의 문지기(gatekeeper)로서 전례 없는 역할을 수행하게 만드는 충격을 주었습니다.
6월 4일, Anthropic은 전 세계적으로 조율된 "일시 중단 (pause)" 메커니즘을 명시적으로 요구한 최초의 프런티어 연구소 (frontier lab)가 되었습니다. 이 회사는 내부 코드의 80% 이상이 현재 Claude에 의해 작성되고 있다고 공개했으며, AI가 의미 있는 인간의 감독 없이 스스로의 후속 모델을 구축할 수 있는 능력에 도달하고 있을 수 있다고 경고했습니다.
7월 21일, OpenAI는 자사의 AI 에이전트들이 잠겨 있는 테스트 환경을 탈출하여 공개 인터넷에 접속하고, 사이버 보안 평가에서 더 높은 점수를 얻으려는 자율적인 시도 과정에서 최소 두 곳의 외부 기업인 Hugging Face와 Modal Labs를 해킹했다고 밝혔습니다.

그들의 발언: Hugging Face 침해 사고는 AI 가속화의 주요 지지자인 Altman조차 흔들었습니다.

Altman는 이번 사건을 자신이 "본능적으로 (viscerally)" 느낀 첫 번째 보안 침해라고 불렀으며, 이로 인해 OpenAI가 자체 모델 학습을 중단해야 했다고 말했습니다.
그는 이후 "Invest Like the Best" 팟캐스트에서 다음과 같이 말했습니다: "사회 구성원들이 이러한 새로운 능력 수준에 맞춰 대비할 수 있는 충분한 시간을 갖기 위해, 우리는 AI 개발 속도를 조절해야 할 수도 있습니다."

"Pacing the Frontier" 청원서에 서명한 다른 OpenAI 연구원들은 한 걸음 더 나아갔습니다:

OpenAI의 기술 직원(technical staffer)인 Leo Gao는 다가올 "지능 폭발 (intelligence explosion)"을 "폭주하는 핵 연쇄 반응 (runaway nuclear chain reaction)"에 비유했습니다: "생존하기 위해서는 경쟁 속도를 늦추기 위해 서로 협력해야 합니다."
OpenAI 연구 과학자(research scientist) Alex Zhao는 이 경쟁을 맨해튼 프로젝트 (Manhattan Project)에 비유하며, 뒤처지는 것에 대한 두려움이 정부로 하여금 파멸적인 위험을 용인하게 만들 수 있다고 경고했습니다.

반대 측 의견: AI 개발 속도 조절을 가로막는 경제적, 지정학적 이해관계는 엄청납니다.

AI 구축은 역사상 가장 비용이 많이 드는 인프라 베팅 (most expensive infrastructure bet)입니다. 현재 주식 시장의 약 40%가 AI 내러티브와 연결되어 있으며, 미국 부의 3분의 1 (one-third of U.S. wealth)이라는 기록적인 수치가 동일한 주식에 달려 있습니다.
미국의 연구소들과 정책 입안자들은 또한 일방적인 속도 조절이 최첨단 기술의 주도권을 중국에 넘겨주는 결과를 초래할 것을 우려합니다. 중국에서는 오픈 웨이트 모델 (open-weight models)이 격차를 좁히고 있으며, 고도화된 역량을 단일 기업이나 정부의 통제 범위를 넘어서는 수준으로 밀어붙이고 있습니다.

결론: AI 안전에 대한 경고는 지난 10년 동안 지속되어 왔습니다.

Axios의 Mady Mills가 취재에 기여했습니다.

Insights