Behind the Curtain: Intelligence explosion

AI 리스크를 경고하는 세계에 감싸인 정체성을 가진 AI 연구소 Anthropic 은, AI 가 단순히 자신의 제품을 코딩하는 것을 넘어 스스로를 구축하고 있다는 '초기 징후'를 주장합니다. 이것이 중요한 이유는 무엇인가? Anthropic 공동 창업자 Jack Clark 는 이번 주에 2028 년 말까지 AI 모델이 후계자를 완전히 훈련할 확률이 60%+ 라고 예측했습니다. "저는 어떤 것이라도 속도가 더 가속화될 기술적 추세를 보고 있습니다," Clark 는 우리에게 말했습니다. The Anthropic Institute 의 새로운 연구 계획 — 우리와 함께 처음 공유되었고, 목요일에 공개되었습니다 — 에서 회사는 AI 가 "AI 자체의 연구 및 개발을 가속화하는 데 기여하는 징후"를 보고하고 있다고 말합니다. 이 과정은 반복적 자기 개선 (recursive self-improvement) 으로 알려져 있습니다. 그리고 Anthropic 연구자들은 세계가 알아야 한다고 생각합니다. "저의 예측은 2028 년 말까지, 우리는 AI 시스템이 있을 것입니다. 그에게 '자신 더 나은 버전을 만드세요'라고 말할 수 있고, 그것은 완전히 자율적으로 그것을 수행합니다," Clark 는 San Francisco 의 Anthropic 본사에서 우리에게 말했습니다. "기술을 제외한 인간들은 항상 아이디어를 만들어서 그것을 다시 넣어야 합니다. 만약 우리가 스스로 개선하는 방법을 어떻게 개선할 것인지에 대한 아이디어를 자체 내에서 생성할 수 있는 기술이 있다면?" 이것이 새로운 개념입니다." 5 페이지의 문서가 가능한 '지능 폭발' (intelligence explosion) 을 경고합니다 — 오랫동안 AI 안전 원주에 국한된 이론적 용어였습니다. 이제 그것은 공식적인 Anthropic 문서에서 쓰여졌습니다. Clark 는 우리에게 지능 폭발은 AI 시스템이 놀라운 속도로 갑자기 개선 시작할 때라고 말했습니다. 많은 나쁜 것들이 일어날 수 있습니다 (사이버 meltdowns 와 생물학적 공격). 그리고 많은 좋은 것들: "당신은 무엇으로 엄청난 양의 성장이나 많은 과학 분야에서 동시에 많은 양의 풍요를 어떻게 할까요?" 그가 물었습니다. "오늘의 기관들은 새로운 약물 후보자를 밀어 넣을 수 있는 매우, 매우 좁은 파이프를 가지고 있습니다. 이 풍요 전에 그 파이프의 크기를 얼마나 광범위하게 확대할 수 있나요?" 무엇이 새로인가: The Anthropic Institute 는 연구 팔과 초기 경보 시스템의 일부이며, Anthropic 의 Long-Term Benefit Trust 와 함께 agenda 를 구축합니다. (Clark 은 또한 "공공 이익 책임자"라는 직함을 가지고 있습니다.) 연구 계획은 4 개의 버킷에 집중합니다: 경제적 확산: 일자리, 생산성, 이득을 누가 포착하는가. 위협과 탄력성: 사이버, 생물학, 감시. 야생의 AI 시스템: 에이전트, 거버넌스. AI 기반 R&D: 반복적 자기 개선 질문. 약속: Anthropic 은 더 많은 "새로운 AI 도구가 결과로 가속화된 Anthropic 의 작업에 대한 상세한 정보와 잠재적 반복적 자기 개선의 AI 시스템의 함의에 대한 아이디어"를 출판할 것을 약속합니다. 번역: 경계 연구소는 기계가 스스로를 구축 시작할 때 공중에게 말할 것을 기록에서 약속했습니다. AI 가 스스로를 구축한다면, 우리는 AI 회사들을 필요로 할까요? "우리와 다른 회사들은 이 기술을 가져와서 세계에 선을 이루도록 시도할 것입니다," Clark 는 우리에게 말했습니다. "생물학이나 의학이나 로봇공학 같은 것들을 앞으로 밀어 나가는 데 도움을 주려고 합니다..." 암 연구처럼 진정으로, 진정으로, 진정으로 진행하기 어려운 도메인으로 그 기술을 인도합니다." 줄거리에: agenda 는 지능 폭발을 위한 '화재 훈련'을 어떻게 실행할 것인지 묻습니다 — tabletop exercise 가 "실제로 실험실 리더십, 보드, 그리고 정부들의 의사결정을 테스트합니다." 연구소는 수십 년이 지나갈 것이라 생각한 문제들을 위해 화재 훈련을 작성하지 않습니다. The i

보고서는 냉전 기간 동안 미국이 핵 위기 발생 시 모스크바에 핫라인을 두었다는 점을 지적합니다. AI 시스템 관련 위기에 필요한 유사한 지리정치적 인프라가 필요할 수 있습니다. 클라크는 말했습니다. "냉전의 교훈 중 하나는 인류에게 존재적 영향을 미치는 기술을 다루는 대립국들이 서로 대화하는 방식을 찾았다는 것입니다." 그리고 우리는 여기서도 똑같이 해야 합니다. 일자리에 대한 의미: Anthropic 은 AI 가 업무를 어떻게 재편하고 있는지에 대해 월간 보고서를 발표할 계획입니다. 이는 "중요한 변화와 교란의 조기 경보 신호"로 설계되었습니다. 이 문서에서는 AI 기업들이 정부와 협력하여 산업 전반의 "다이얼"을 조절하여 AI 확산을 섹터별로 감속할 수 있는지 묻고 있습니다. 중앙은행이 인플레이션을 조절하는 방식과 유사합니다. AI 연구소가 자체 기술에 대해 조정된 산업 정책 레버를 공개적으로 논의한다는 것은 새로운 일입니다. "여기서 성공을 계획하고 있습니다," 클라크는 말했습니다. "우리는 우리가 생각한 만큼 강력한 기술이 되는 세계를 계획하고 있으며, 그 과정에서 오용 또는 불일치 문제를 처리할 것입니다." 현실 점검: 이는 또한 포지셔닝 플레이입니다. Anthropic 은 책임감 있는 프론티어 연구소라는 브랜드를 구축했습니다. 안전 신뢰에 기반을 둔 연구소는 다음 모델 업그레이드 이전에 해당 브랜드를 확장합니다. "동기는 항상 '전체 이야기를 말하다'였습니다," 클라크는 우리에게 말했습니다. "때로는 우리가 걱정하는 위험에 대해 이야기해야 한다는 뜻입니다. 때로는 우리는 지금까지 상상하지 못했던 엄청난 양의 풍요에 대해 이야기할 것입니다.… 나는 다음 큰 질문을 앞서가고 Anthropic 을 그 앞에 두고자 합니다." 결론: 이는 반복적인 자기 개선 인정의 현실성을 덜 만들지 않습니다. Anthropic 이 이를 문서로 작성하기로 선택했다는 점이 더 흥미롭습니다. 📱 Mike 가 Jack Clark 를 인터뷰한 "Behind the Curtain" 영상을 시청하세요. (실행 프로듀서 Jimmy Shelton 에게 빛나는 전환을 감사드립니다.)