Import AI 456: RSI와 경제 성장; AI 규제를 위한 근본적 선택권 (Radical Optionality); 그리고 신경 컴퓨터 (Neural Computer)

Jack Clark 작성

규제할 것인가? 규제하지 마라. 제3의 길이 있다: 근본적 선택권 (Radical Optionality):

…정부는 미래의 위기 상황에서 필요할 수도 있는 도구들에 지금부터 투자해야 한다…

Institute for Law & AI의 연구원들은 강력한 AI가 세상을 대규모로 혼란에 빠뜨릴 경우, 정부가 미래에 필요할 수도 있는 도구들을 미리 갖추어 두는 접근 방식인 “근본적 선택권 (Radical Optionality)”에 대해 기술했습니다.

“그 핵심은 상황이 전개됨에 따라 변혁적인 AI 시스템을 어떻게 통제할지에 대해 민주 정부가 올바른 결정을 내릴 수 있는 능력을 보존하는 것입니다. 단기적으로 이는 과도한 규제를 피하는 동시에, 광범위한 시나리오에 역량 있게 대응하는 데 필요한 제도, 정보 채널 및 법적 권한을 신속하게 구축하는 것을 의미합니다.”

**핵심 아이디어 – 불확실한 미래를 위해 지금 투자하라: ** AI 개발의 막대한 이해관계를 고려할 때, “정부는 선택권 (Optionality)을 보존하기 위해 엄청난 양의 돈과 노력, 그리고 정치적 자본을 기꺼이 지출해야 한다”라고 그들은 기술했습니다. 다시 말해, 이는 매우 중대한 사안이므로 불확실한 수익이 예상되더라도 지금 많은 돈을 쓰는 것이 괜찮다는 뜻입니다. “정부는 역효과를 낳는 개입은 경계해야 하지만, 순이익이 발생할 가능성이 높은 현실적인 조치에 드는 실제 금전적 비용에는 크게 개의치 말아야 합니다.”

**세부 사항: ** 그들은 또한 몇 가지 범주에서 몇 가지 구체적인 개입 방안을 권고합니다:

정보 수집 기관 (Information-gathering authorities): 기업이 자사의 AI 시스템에 관한 정보를 공개해야 하는 투명성 요건 (Transparency requirements). 기업이 정부 기관과 특정 정보를 공유하도록 강제하는 보고 요건 (Reporting requirements). 이러한 요건들이 마련되면, 투명성 및 보고 규칙이 목표로 하는 내용의 진실성을 제3자가 검증할 수 있도록 감사 체제 (Auditing regime)를 구축해야 합니다. -
내부 고발자 보호 (Whistleblower protections): 프런티어 연구소 (Frontier labs)의 직원들이 위험에 관한 정보를 보고할 수 있도록 보장해야 합니다. -
정부 내 및 정부 간 정보 공유 (Information-sharing within and between governments): 정부가 효과적으로 협력하고 논의를 촉진할 수 있도록, 특히 AI의 발전과 관련된 민감한 정보를 다루는 경우를 보장해야 합니다. 이는 AI 개발에 필수적이라고 간주되는 공급망을 강화하고 보호하는 데 특히 중요할 수 있습니다. -
유연한 규칙 및 정의 (Flexible rules and definitions): 조건부

논거 및 반론 (Arguments and counterarguments): 저자들은 이러한 아이디어들에 대한 보다 명백한 반론들을 검토하고 이에 대한 몇 가지 답변을 제시합니다:

급진적인 규제 조치 장려 (Encouraging dramatic regulatory action): 저자들은 위의 아이디어들이 "남용되기 쉬운 중대한 실질적 권한 (weighty substantive authorities)이 아니다"라고 주장합니다. (저는 이 부분에 대해 이견을 제시할 수 있는데, 충분한 동기를 가진 정부는 권한을 처음 초안한 사람들이 구상했을 법한 것보다 훨씬 더 강력한 버전의 권한을 만들어내는 경향이 있다는 점을 지적하고 싶습니다).

민주적 정당성 (Democratic legitimacy): 유연성을 최적화하는 것은 민주적 정당성과 더 관련이 있는 일부 요소들을 경시해야 하는 필요성을 초래할 수 있습니다. 예를 들어, 특정 종류의 규칙 제정(rulemaking)에 대해 통지 및 의견 수렴 기간(notice and comment periods)을 면제할 수 있는 권한을 기관에 부여하는 것 등이 있습니다.

권력 집중 및 정부 남용 (Concentration of power and government abuse): 저자들은 정부가 AI 시스템의 개발을 통제하려 할 상당한 위험이 있다고 "기본적으로 확신"하고 있습니다. 이러한 이유로, 그들은 국방물자생산법 (Defense Production Act)과 같은 비상 권한의 범위를 대폭 확장하는 것과 같은 방식은 권장하지 않습니다. 이를 완화하는 한 가지 방법은 정부가 "법을 준수하는 AI 시스템 (law-following AI systems)만을 사용"하도록 하는 것일 수 있습니다.

민간 거버넌스의 문제점은 무엇인가? 왜 그냥 그렇게 하지 않는가? (What’s wrong with private governance? Why not just do that?): 저자들은 "규제 시장 (regulatory markets)" 맥락의 아이디어들을 지지하면서도, 주로 다수의 민간 부문 행위자(예: 독립 검증 기구)에 의존하는 모든 거버넌스는 결국 정부 내의 기본적인 기술적 역량 영역에 다시 의존하게 될 것이라고 생각합니다.

이것이 중요한 이유 – 성공을 위한 세상의 준비: 저는 여기에 제시된 모든 권고 사항에 동의하며, 최근 몇 년 동안 그중 상당수를 옹호해 왔습니다. 앞으로 다가올 잠재적으로 매우 거대한 변화에 대비하여 사회가 더 잘 준비하기 위해 우리가 할 수 있는 일이 무수히 많다는 것이 제 생각입니다. 저자들은 "이러한 정책을 시행하는 비용은 잠재적 이익에 비해 미미합니다. 반면, 행동하지 않았을 때의 비용은 잠재적으로 재앙적일 수 있습니다"라고 기술했습니다. 저도 동의합니다.

더 읽어보기: Radical Optionality (공식 논문 웹사이트).

---

Schmidhuber의 특별판 – 신경 컴퓨터 (Neural Computers):

*…어쩌면 운영 체제(Operating System)는 그저 지나가는 유행일지도 모릅니다..

여기 재미있는 논문이 있습니다.

Meta와 KAIST에서 발표한 Neural Computers는 "신경망이 전통적인 컴퓨터처럼 작동할 수 있는가?"라는 질문을 던집니다. 신경 컴퓨터 (Neural Computer, NC)는 연산(Computation), 메모리(Memory), 그리고 입출력(I/O)을 학습된 런타임 상태(Learned runtime state)로 통합하는 신경 시스템입니다.

이 논문은 몇 가지 이유로 흥미롭습니다: 1) AI 커뮤니티에서 전설적인 존재이며, 많은 중요한 개념들(예: 생성 모델 (Generative models), 세계 모델 (World models), 생성적 적대 신경망 (Generative adversarial networks)의 측면들, 비디오 게임 벤치마킹에 대한 초기 구상 등)을 초기에 개념화한 Juergen Schmidhuber의 연구라는 점, 2) 그 아이디어가 매우 파격적이면서도 단순하여 (비록 오늘날의 모델보다 훨씬 더 많은 연산과 데이터를 필요로 하겠지만) 실제로 작동할 수도 있다는 점입니다.

핵심 아이디어: 저자 중 한 명이 언급했듯이, 오늘날의 AI를 통해 "새로운 기계 형태가 나타나기 시작하고 있습니다". 그들은 다음과 같이 질문합니다: "만약 에이전트(Agents)가 실제 업무를 더 잘 수행하게 되고, 세계 모델 (World models)이 내부 시뮬레이션 능력이 향상되며, 기존 컴퓨터들이 이미 AI를 위한 기질(Substrate)을 재구축하고 있다면, 실행(Execution), 롤아웃(Rollout), 그리고 능력 유지(Capability retention)를 동일한 학습 기계 안으로 가져오는 새로운 런타임(Runtime)이 존재할 수 있을까? ... 저의 개인적인 추측으로는, 성숙한 [신경 컴퓨터]는 다른 기질을 가리키고 있습니다. 즉, 더 희소하고(Sparser), 주소 지정이 가능하며(More addressable), 약간 더 회로와 유사한(Circuit-like) 10T-1000T 규모의 기계와 같은 것입니다."

두 가지 실험: 이 논문은 초기 프로토타이핑을 수행하는 개념적인 논문으로, 강력한 생성 비디오 모델 (Wan 2.1)과 잘 큐레이션된 학습 데이터를 사용하여 명령줄 인터페이스 (CLI) 및 그래픽 사용자 인터페이스 (GUI)를 기반으로 하는 신경 컴퓨터 (Neural Computer)를 구축할 수 있는지 탐구합니다. 두 접근 방식 모두 작동하지만, 마치 '이륙 전의 라이트 형제'와 같은 느낌으로, 훨씬 더 거대한 미래를 겨우 암시하는 수준입니다. CLI: "NC는 기본적인 명령줄 워크플로를 렌더링하고 실행하는 법을 배웁니다. 기호적 안정성 (Symbolic stability)은 여전히 제한적이지만, 터미널 버퍼와 정렬 상태를 유지하며 일상적인 CLI 사용의 일반적인 '물리 법칙' (예: 빠른 스크롤백, 프롬프트 줄 바꿈, 창 크기 조정)을 포착하는 경우가 많습니다." GUI: "우리는 전역 충실도 (Global fidelity), 동작 후 반응성 (Post-action responsiveness), 커서 정확도 (Cursor-accuracy) 측정을 사용하여 데이터 품질, 커서 감독 (Cursor supervision), 동작 주입 (Action injection) 및 동작 인코딩 (Action encoding)에 걸쳐 표준 월드 모델 (World-model) 설계를 평가합니다."

프로토타입의 작동: "우리의 실험적 통찰에 따르면, 현재의 NC는 이미 기본적인 런타임 프리미티브 (Runtime primitives)를 실현하는 법을 배울 수 있으며, 특히 I/O 정렬 (I/O alignment)과 단기 제어 (Short-horizon control)가 두드러집니다. 장기적인 목표는 완전한 신경 컴퓨터 (Completely Neural Computer, CNC)로, 이는 이 기계 형태의 성숙하고 범용적인 구현체입니다. 즉, 연산 (Compute), 메모리 (Memory), 인터페이스 (Interfaces)가 별도의 모듈로 설계되는 대신 단일한 학습된 런타임 기질 (Runtime substrate) 내에 통합된 완전히 학습된 컴퓨터를 의미합니다."

**이것이 중요한 이유 – 어쩌면 미래에는 모든 소프트웨어가 거대한 신경망 (Neural net)의 가중치 (Weights) 안에 존재하게 될지도 모릅니다: ** 이 논문은 전통적인 의미에서 컴퓨터를 뒷받침하는 모든 소프트웨어를 제거하고, 이를 거대한 신경망 (Neural network)으로 대체하는 미래를 가리킵니다. 저자들은 “신경 컴퓨터 (Neural computers)는 단일한 잠재적 런타임 상태 (Latent runtime state)가 컴퓨터 그 자체로서 작동하며, 오늘날 운영 체제 (Operating systems)와 인터페이스 (Interfaces)가 처리하는 것들을 흡수하면서 픽셀, 텍스트, 그리고 동작을 구동하는 기계 형태를 지향한다”라고 기술합니다. “따라서 CNC (Continuous Neural Computers)를 향한 진보는 더 강력한 모델뿐만 아니라, 재사용성 (Reuse), 일관성 (Consistency), 그리고 거버넌스 (Governance)가 지속 가능하고 테스트 가능해지는지 여부에 달려 있을 것이다.” 이러한 시스템은 매우 유용하고 오늘날 우리가 가진 것과는 근본적으로 다르며, 이것의 존재는 우리 자신이 시뮬레이션 속에 살고 있을 가능성을 대폭 증가시킬 것입니다.

더 읽어보기: Neural Computers (arXiv). 블로그 포스트 읽기: Neural Computer: A New Machine Form Is Emerging (Mingchen Zhuge, blog).

---

재귀적 자기 개선 (Recursive self-improvement)은 폭발적인 경제 성장을 이끌 수 있습니다:

…경제학자들은 RSI가 전례 없는 경제적 호황을 일으킬 수 있음을 시사하는 몇 가지 모델을 구축합니다…

Forethought, 컬럼비아 대학교 (Columbia University), 그리고 버지니아 대학교 (University of Virginia)의 경제학자들과 연구자들은 AI 시스템의 재귀적 자기 개선 (Recursive self-improvement, #455) (또는 경제의 거대한 부분에 대한 극도로 강력한 자동화)이 경제를 전례 없는 호황으로 몰아넣는 복리 피드백 사이클 (Compounding feedback cycle)을 촉발할 수 있다고 생각합니다.

“우리는 AI 기반 자동화가 두 가지 힘과 어떻게 상호작용하는지 분석하기 위한 프레임워크를 개발하며, 자동화에 의해 생성된 피드백 루프 (Feedback loops)가 경제를 폭발적 성장으로 전환시키는 조건을 식별합니다.”라고 그들은 기술합니다. “이 모델은 자동화가 폭발적 역학 (Explosive dynamics)을 생성하는 두 가지 뚜렷한 채널을 식별하며, 이 채널들은 서로를 강화합니다. 첫 번째는

혁신 네트워크 전반에 걸친 기술적 (Technological) 피드백 루프이며… 두 번째 채널은

경제적 (economic) 피드백 루프이며, 여기서 더 높은 산출물은 추가적인 경제 성장을 견인하기 위해 투입될 수 있는 더 많은 자원을 창출합니다.”

주요 결과 (Key findings): “모든 부문에 걸친 13%의 자동화는 경제를 폭발적 체제 (explosive regime)로 밀어넣기에 충분하며, 소프트웨어 및 하드웨어 연구만 자동화될 경우에는 17%로 충분합니다. 둘째, 하드웨어 연구가 지배적인 레버 (lever)입니다. 하드웨어 연구에 대한 수익률이 소프트웨어의 약 5배, 총요소생산성 (TFP)의 10배에 달하기 때문입니다. 따라서 칩 설계에서의 한 가지 과업을 자동화하는 것은 소프트웨어 또는 최종재 생산에서의 다섯 가지 과업을 자동화하는 것만큼 경제를 움직입니다. 하드웨어만 20% 자동화되어도 임계값을 넘기에 충분합니다. 셋째, 소프트웨어 자동화 단독으로는 거의 칼날의 끝 (knife-edge)에 위치합니다. 상당히 보수적인 보정 (calibration) 하에서도, 경제의 다른 부분을 자동화하지 않고 소프트웨어 연구만을 완전히 자동화하는 것은 폭발적 성장 임계값에 겨우 도달하는 수준입니다. 다른 곳에서의 작은 추진력만 있다면 시스템을 기울게 하기에 충분합니다.”

특이점 (Singularity)은 생각보다 가까울 수 있습니다: “우리의 기본 정형화된 시뮬레이션 (baseline stylized simulation)에서, 소프트웨어 R&D의 완전 자동화와 나머지 경제 전반에 걸친 단 5%의 자동화를 포함하는 ‘자동화 충격 (automation shock)’은 약 6년 안에 특이점이 도달하게 만듭니다.”라고 그들은 기술합니다. “경험적으로 최근 소프트웨어와 하드웨어의 생산성 성장률은 매우 이례적으로 빨랐으며, 따라서 새로운 균형 성장 경로 (balanced growth path)로의 전환이나 쌍곡선 가속 (hyperbolic acceleration)이 매우 빠르게 일어날 가능성도 있습니다.”

**하드웨어가 핵심입니다: **“우리의 결과는 반도체 연구 개발 (R&D)의 전략적 중요성을 강조합니다.”

정책 입안자들은 주목하십시오: “AI R&D 활동의 자동화 수준을 모니터링하는 것은 전통적인 거시경제 지표를 추적하는 것만큼 중요할 수 있습니다. 주요 연구 분야의 자동화 정도는 잠재적인 성장 가속을 위한 조기 경보 시스템 역할을 할 수 있습니다. 이는 AI 기업의 경제학자들이 측정하여 공개적으로 공유할 수 있는 사항입니다.”