실리콘밸리의 AI 거물들이 초지능(superintelligence)을 위한 서로 다른 청사진을 들고 워싱턴으로 몰려들며, 결정적인 질문을 두고 충돌하고 있습니다: 안전은 강력한 AI를 널리 퍼뜨림으로써 얻어지는가, 아니면 이를 통제함으로써 얻어지는가?

중요한 이유: 이들의 싸움은 누가 최고의 모델에 접근할 수 있는지, 미국이 중국과 어떻게 경쟁할지, 그리고 비상 상황에서 정부가 경쟁 속도를 늦출 수 있을지 여부를 결정할 것입니다.

---

뉴스 동향: 매일같이 발생하는 놀라운 발전들로 인해, 선언문(manifestos)들은 단순한 사고 실험을 넘어 긴박한 정책 전쟁으로 변모했습니다.

• OpenAI와 Anthropic 모두 사이버 보안 평가(cybersecurity evaluations) 과정에서 자신들의 첨단 모델들이 통제를 벗어나고 외부 시스템에 침입했다는 사실을 공개했습니다.
• Kimi K3는 이중의 충격을 안겨주었습니다: 이 중국산 모델은 프런티어급(frontier-level) 성능에 도달했을 뿐만 아니라, 누구나 다운로드, 수정 및 배포할 수 있는 오픈 웨이트(open weights) 방식으로 구현되었습니다.

전체적인 그림: 이러한 충격들은 실리콘밸리 전역에서 쏟아져 나오는 선언문들의 이해관계를 더욱 날카롭게 만들었습니다.

• 각 거물들의 게시물은 위험에 대한 서로 다른 이론과, 이를 통제하기 위한 서로 다른 처방을 제시합니다.

선언문 지도:

• 7월 14일 — 표준 설정: Google DeepMind의 CEO Demis Hassabis는 모델 출시 전 테스트를 위해 산업계가 자금을 지원하고 연방 정부가 감독하는 "프런티어 AI 표준 기구 (Frontier AI Standards Body)"를 제안했습니다. 자발적인 검토는 결국 가장 강력한 시스템에 대한 접근을 규제하는 구속력 있는 규칙으로 굳어질 수 있습니다.
• 7월 24일 — 방어 개방: Nvidia의 CEO Jensen Huang은 오픈 모델(open models)이 미국의 개발자와 사이버 보안 방어자들에게 더 많은 도구를 제공한다고 주장했습니다. 그는 Meta, Microsoft, Google, OpenAI가 오픈 AI 생태계를 지지하는 "오픈 웨이트와 미국의 AI 리더십 (Open Weights and American AI Leadership)" 서한에 서명하도록 독려했습니다.
• 7월 27일 — 위험 차단: Anthropic의 CEO Dario Amodei는 "의무적 안전 테스트 (mandatory safety testing)"와, 중국이 강력한 오픈 웨이트(open-weight) 모델을 개발하는 데 도움이 되는 칩 및 증류(distillation) 기술에 대한 더 엄격한 통제를 촉구했습니다. 그는 전면적인 금지를 지지하는 단계까지는 가지 않았습니다.
• 7월 28일 — 접근 확산: Meta의 CEO Mark Zuckerberg는 소수의 기업과 정부가 통제하는 미래에 대한 방어책으로서, 널리 보급 가능한 "개인용 초지능 (personal superintelligence)"을 제시했습니다.
• 7월 28일 — 제동 장치 구축: 1,200명 이상의 프런티어 연구소 직원들이 "프런티어 속도 조절 (Pacing the Frontier)"이라는 청원서에 서명했습니다. 이 청원은 AI가 인간의 통제를 벗어나 발전하기 시작할 경우, 발전을 의도적으로 늦추기 위한 국제적 도구를 워싱턴에 마련해 달라고 요청하고 있습니다.

현실 점검: OpenAI의 CEO Sam Altman은 분열된 양측 모두를 점유하려 노력하고 있습니다. 그의 연구소는 폐쇄형 모델(closed models)을 판매함에도 불구하고, 오픈 AI 스택에 대한 투자를 지지하고 있습니다.

• Altman는 수요일 의회(Capitol Hill)에서 기자들에게 OpenAI 연구원들이 속도 조절 서한(pacing letter)을 형성하는 데 도움을 주었다고 말했습니다.
• Altman가 AI 개발의 속도를 "조절(pace)"하는 데 필요한 도구를 구축하는 것에 대해 백악관과 논의해 왔으며, 향후 필요할 경우 정부가 그렇게 할 수 있는 선택권을 보존하기로 했다고 전해 들었습니다. Altman는 도구와 결정권이 특정 기업이 아닌 정부의 손에 있어, 민주적 절차를 통해 관리되기를 원합니다.
• 행정부 및 백악관 회의에서 Altman의 제1순위 주제는 아직 출시되지 않은 차세대 주요 ChatGPT 모델 제품군인 Astra, 즉 회사의 가장 강력한 AI의 능력을 미리 보여주는 것이었습니다. OpenAI는 토요일에 Astra의 내부 버전이 "고차원 기하학(high-dimensional geometry), 부호 이론(coding theory), 산술 회로 복잡도(arithmetic circuit complexity), 군론(group theory), 연산자 대수(operator algebras), 양자 복잡도(quantum complexity), 격자 암호학(lattice cryptography), 극단적 조합론(extremal combinatorics)"의 10가지 주요 공개 수학 문제에서의 연구 도약(research leaps)의 배후에 있다고 [밝혔습니다].

확대해 보기 (Zoom out): 오픈 웨이트(open-weight)의 역설은 모든 선언문에 관통하고 있습니다.

• 오픈 웨이트(Open weights)는 혁신을 확산시키고, 사이버 방어자를 강화하며, 소수의 기업이 AI를 독점하는 것을 방지할 수 있습니다.
• 하지만 모델이 더 강력한 사이버 및 자율 능력을 갖추게 됨에 따라, 동일한 개방성이 어떤 기업의 모니터링, 제한 또는 회수 능력도 벗어난 위험한 도구를 제공할 수도 있습니다.

행간 읽기 (Between the lines): 이것들은 위험에 대한 서로 경쟁하는 이론들입니다.

• Huang과 Zuckerberg는 집중된 통제가 미국을 약화시키고 소수의 게이트키퍼 (gatekeepers) 집단에게 권력을 부여할 것을 우려합니다.
• Amodei와 속도 조절 연합 (pacing coalition)은 강력한 역량이 기업이나 정부가 통제할 수 있는 속도보다 더 빠르게 확산될 것을 우려합니다.
• Altman은 최첨단 (frontier) 기술을 위한 비상 제동 장치를 구축하는 동시에 개방성의 이점을 보존하려고 노력하고 있습니다.

주시할 점: Trump 행정부는 최첨단 AI 시스템을 검토하기 위한 공식적인 절차 ("자율 프레임워크 (voluntary framework)")를 발표하기 직전 단계에 있습니다. 이 선언문들은 해당 절차가 어떤 위험을 우선시해야 하는지, 그리고 워싱턴이 누구의 규칙을 채택해야 하는지에 영향을 미치는 것을 목표로 합니다.