AI가 AI를 개선할 때: 재귀적 지능 가속을 통제하기

SGAEIA 연구 시리즈 — 기사 16

Aridio Silva · 독립 연구원, 브라질 · ORCID

AI 시스템이 연구, 소프트웨어 개발, 평가 및 후속 시스템 구축에 참여하기 시작했습니다. 거버넌스 문제는 역량이 가속하는지에 국한되지 않고, 평가(evaluation), 승인(authorization), 모니터링(monitoring), 취소(revocation), 복구(recovery) 및 증거(evidence)가 물질적 변화 속도를 따라잡을 수 있는지에 관한 것입니다.

이 기술 에디션은 SGAEIA 홈페이지와 Medium에 게시된 전체 연구 주장과 참고 문헌을 보존하는 동시에, 개발자, 아키텍트, 보안 전문가 및 DEV 커뮤니티 독자를 위한 탐색(navigation), 메타데이터(metadata) 및 이미지 전송을 준비합니다.

표지 — AI가 AI를 개선할 때: 재귀적 지능 가속을 통제하기. 보이는 거버넌스 경계 내에 포함된 가속하는 AI 역량의 개념적 일러스트레이션. © 2026 Aridio Silva | Project SGAEIA | CC BY 4.0.

목차

목차

• Abstract
• 1. 지능 폭발(intelligence explosion)에서 거버넌스 페이싱(governance pacing)으로
• 2. AI 역량은 AI 권한(authority)이 아니다
• 3. 역량 변화는 재평가를 유발해야 한다
• 4. 보증(Assurance)은 시스템의 궤적을 따라야 한다
• 5. 증거 문제(The evidence problem)
• 6. 실질적인 거버넌스 원칙
• 7. 지금 무엇을 준비해야 하는가
• 8. '개선(improvement)'의 세 가지 다른 의미
• 9. 모델 평가에서 시스템 평가로
• 10. 중대한 역량 변화의 신호
• 11. 재귀적 개선과 다중 에이전트 시스템
• 12. 제어 범위(control envelope)는 명시적이어야 한다
• 13. 왜 증거가 시간 인지적이어야 하는가
• 14. 실질적인 거버넌스 페이싱의 모습
• 15. 가속 거버넌스의 실패 모드
• 16. 한계점과 열린 질문들
• 17. 실무자를 위한 결론
• 18. 결론
• Bibliography / References (참고 문헌)
• About the Author (저자 소개)
• Research and project resources (연구 및 프로젝트 자료)
• Figures and public-disclosure status (그림 및 공개 상태)
• License and status (라이선스 및 상태)

Abstract

지능 폭발에 관한 최근 연구는 매우 빠른 역량 성장과 수학적 특이점(mathematical singularity) 사이에 중요한 구분을 했습니다. Toby Ord는 초지수적 성장(super-exponential growth)이 반드시 유한 시간의 수직 점근선(vertical asymptote)을 의미하지 않음을 보여주며, 피드백 루프를 돌아가는 데 필요한 시간인 '생성 시간(generation time)'을 핵심 변수로 식별했습니다 [1]. William MacAskill과 Fin Moorhouse는 AI 가속 연구가 기술적 진보를 훨씬 짧은 기간으로 압축할 경우 발생할 수 있는 제도적 및 사회적 난제들을 검토했습니다 [2].

이 글은 그러한 논점들을 통제되는 자율적 AI(governed autonomous AI)와 연결합니다. 핵심 주장은 간단합니다. 능력(capability)이 권위(authority)가 아니며, 이전에 유효했던 보증이 중대한 능력 변화 이후에도 자동으로 유효하지 않다는 것입니다. 연구, 계획, 도구 사용, 조정 또는 자체 수정 능력이 향상되는 시스템은 조용히 더 광범위한 행동 허가를 받아서는 안 됩니다. 대신, 중대한 능력 변화는 재평가(renewed evaluation), 명시적 거버넌스(explicit governance), 그리고 지속, 제한, 일시 정지 또는 철회된 운영에 대한 증거 기반 결정(evidence-based decisions)을 유발해야 합니다. 이는 SGAEIA의 거버넌스 제안이며, 어느 논문에서 확립된 발견은 아닙니다.

이 글은 지능 폭발(intelligence explosion)이 불가피하거나 현재 시스템이 개방형 재귀적 자기 개선(open-ended recursive self-improvement)을 달성했다고 주장하지 않습니다. 이는 일반적인 감독 과정이 적응할 수 있는 속도보다 더 빠르게 능력이 향상될 수 있는 시스템에 대한 거버넌스 원칙을 제시합니다.

1. 지능 폭발에서 거버넌스 속도 조절로

지능 폭발은 종종 AI 시스템이 더 유능한 후계자를 개발하는 데 도움을 주는 피드백 루프로 설명됩니다. 중요한 거버넌스 질문은 능력의 성장 속도가 얼마나 빠른가뿐만 아니라, 평가(evaluation), 승인(authorization), 모니터링(monitoring) 및 복구(recovery)가 그 성장에 발맞출 수 있느냐 하는 것입니다.

Ord의 분석은 종종 동등하게 취급되는 여러 궤적들을 분리한다는 점에서 유용합니다. 어떤 프로세스는 무한한 능력을 유한 시간 내에 달성하지 않으면서도 모든 지수 함수보다 빠르게 성장할 수 있습니다 [1]. 이는 거버넌스가 '특이점(singularity)'이라고 불리는 단일하고 극적인 임계점에 의존할 수 없음을 의미합니다. 매우 빠르지만 유한한 능력의 성장이 이전의 보증 프로세스가 따라잡기 전에 새로운 시스템이 도착한다면 여전히 심각한 통제 문제를 야기할 수 있습니다.

따라서 우리는 더 광범위한 개념, 즉 **거버넌스 페이싱(governance pacing)**이 필요합니다. 거버넌스 페이싱은 능력 변화의 속도와 자율 시스템을 평가하고, 승인하고, 모니터링하고, 격리하며, 취소하고, 복구하고, 대체하는 데 필요한 시간 사이의 관계를 다룹니다.

2. AI 능력이 곧 AI 권한이 아니다

어떤 모델은 임의의 시스템을 테스트할 권한 없이도 취약점을 발견할 수 있을 수 있습니다. 배포할 허가 없이도 프로덕션 코드를 작성할 수 있을 수 있습니다. 새로운 에이전트를 생성하거나 운영 범위를 확장할 수 있는 허가가 없더라도 다른 에이전트와 협력할 수 있을 수 있습니다.

능력이 증가함에 따라, 주변 시스템은 그 능력이 무엇이 될지 결정하는 더 많은 책임을 져야 합니다. 관련 질문은 단순히 AI 시스템이 무엇을 생성할 수 있는지가 아니라, 어떤 도구를 통해, 누구의 권한 하에, 그리고 자신의 행동을 중단하거나 취소할 수 있는 능력과 함께 무엇을 실행할 수 있는지입니다.

이것이 핵심 SGAEIA 원칙입니다:

모델 능력이 곧 통제된 권한은 아니다.

재귀적 개선(Recursive improvement)은 이 원칙을 강화합니다. 더 유능한 후속 모델이 이전 모델의 모든 권한이나 보증을 자동으로 상속받는 것은 아닙니다.

3. 능력 변화는 재평가를 촉발해야 한다

SGAEIA의 연구 입장에 따르면, 중대한 능력 변화는 거버넌스 이벤트를 촉발해야 합니다. 중대한 변화에는 계획 지평(planning horizon), 자율성(autonomy), 도구 사용(tool use), 메모리, 조정(coordination), 자체 수정(self-modification), 다른 에이전트에 대한 영향력, 또는 평가 과정 자체에 영향을 미칠 수 있는 능력이 포함될 수 있습니다.

높은 수준의 순서는 다음과 같습니다:

material capability change
→ renewed evaluation
→ authority and safeguard review
...

이는 모든 소프트웨어 업데이트가 완전한 중단을 필요로 한다는 의미는 아닙니다. 이는 지속적인 운영이 단순히 과거의 승인만으로 정당화되어서는 안 된다는 것을 의미합니다. 결정은 새로운 능력 프로필과 시스템의 실제 작동 환경에 적합한 증거를 기반으로 이루어져야 합니다.

4. 보증(Assurance)은 시스템의 궤적을 따라야 한다

MacAskill과 Moorhouse는 지능 폭발(intelligence explosion)이 권력, 파괴적인 기술, 디지털 정신(digital minds), 인식론적 시스템(epistemic systems), 그리고 혜택 분배에 관한 많은 중대한 결정을 빠르게 연속적으로 만들어낼 수 있다고 주장합니다[2]. 그들의 분석은 거버넌스가 단 하나의 미래 실패 모드에만 초점을 맞추어서는 안 된다고 시사합니다.

자율 AI의 경우, 이는 평가가 고립된 모델 출력물에 국한될 수 없다는 것을 의미합니다. 관련 시스템에는 모델, 에이전트 하네스(agent harness), 도구, 메모리, 외부 서비스, 서브 에이전트(subagents), 그리고 장기간 실행되는 궤적(long-running trajectory)이 포함될 수 있습니다. 단일 상호작용에서 허용 가능한 능력이 반복되거나, 조합되거나, 위임되거나, 지속적인 워크플로우에 내장될 때 다른 위험을 초래할 수 있습니다.

궤적 보증(Trajectory assurance)은 시스템이 시간이 지남에 따라 작동함에 따라 권한이 유효하게 유지되는지 묻습니다. 또한 결과로 발생하는 효과가 여전히 귀속 가능하고, 관찰 가능하며, 되돌릴 수 있고, 승인된 내용과 일관적인지를 묻습니다.

5. 증거 문제(The evidence problem)

5. 증거 문제(The evidence problem)

급격한 역량 성장은 증거 문제를 야기합니다. 한 버전을 위해 수집된 증거가 후속 버전이 동일한 권한으로 운영하기에 안전한지 여부를 답변하지 못할 수 있습니다. 벤치마크 개선은 개방형 자기 개선(open-ended self-improvement), 견고한 자율성(robust autonomy) 또는 다른 환경에서의 안전한 행동을 입증하지 않은 채 더 나은 성능을 보여줄 수 있습니다.

따라서 SGAEIA의 관점은 의도적으로 신중합니다. 외부 증거, 프로젝트 해석, 후보 속성, 그리고 규범적 아키텍처는 분리된 상태로 유지되어야 합니다. 에이전트가 제한된 평가 루프 내에서 개선된다는 사실만으로는 최첨단 시스템이 제약 없이 스스로 재설계할 수 있음을 입증하지 못합니다. 마찬가지로, 폭발적인 성장에 대한 이론적 모델이 실제 시스템이 그 궤적을 따를 것이라고 확립해주지 않습니다.

증거는 그 범위가 명시적일 때 유용하게 남아 있습니다. 무엇이 바뀌었는지, 어떤 조건 하에서, 어떤 평가 도구로, 무엇이 측정되었고, 무엇이 측정되지 않았으며, 더 이상 유지될 수 없는 가정은 무엇인지 식별해야 합니다.

6. 실질적인 거버넌스 원칙(A practical governance principle)

도출된 원칙은 한 문장으로 다음과 같이 진술할 수 있습니다:

AI 역량의 실질적인 증가는 권한을 조용히 확장하거나, 갱신되고 독립적인 평가 없이 이전의 확신을 유지해서는 안 된다.

이 원칙은 특정 모델에 대한 정책보다 의도적으로 광범위합니다. 이는 후속 시스템, 에이전트 워크플로우, 다중 에이전트 배열, 그리고 자율 연구 시스템에 적용됩니다. 또한 기존 한계 내에서의 계속적인 운영, 더 좁은 권한 부여, 일시적 중단, 대체, 또는 철회 등 다양한 대응 방안을 위한 여지를 남겨둡니다.

목표는 역량 발전 자체를 막는 것이 아닙니다. 그것은 역량 발전이 신뢰할 수 있는 통제와 연결되도록 보장하는 것입니다. 평가될 수 있는 속도보다 더 빠르게 개선할 수 있는 시스템은, 아직 단일한 행동이라도 규칙을 위반하지 않았더라도 다른 운영 모드를 필요로 할 수 있습니다.

7. 지금 준비해야 할 것(What should be prepared now)

조직들은 자율 AI를 개발하면서 다음 사항들을 급격한 가속화가 일어나기 전에 정의할 준비를 할 수 있습니다:

• 어떤 것이 중대한 역량 변화로 간주되는지;
• 그러한 변화 이후에 어떤 안전장치와 보증이 무효가 되는지;
• 누가 지속적인 운영을 승인할 수 있는지;
• 독립적인 평가가 어떻게 수행되는지;
• 철회가 후임자와 위임된 에이전트에게 어떻게 도달하는지;
• 버전 전반에 걸쳐 증거가 어떻게 귀속성을 유지하는지;
• 거버넌스가 역량 변화 속도를 따라가지 못할 때 무슨 일이 발생하는지.

이러한 질문들은 지능 폭발(intelligence explosion)이 결코 일어나지 않더라도 유용합니다. 이는 일반적인 변경 관리, 사고 대응, 지속적 보증, 그리고 자율 시스템에 대한 책임성을 향상시킵니다.

8. '개선'의 세 가지 다른 의미

'개선(improvement)'이라는 단어는 여러 가지 다른 변화를 숨기고 있습니다. 시스템은 더 자율적이 되지 않으면서도 작업 성능을 개선할 수 있습니다. 전략적으로 더 유능해지지 않으면서도 더 효율적이 될 수 있습니다. 추가적인 실행 권한 없이 코드나 연구 결과물을 생성하는 능력이 향상될 수도 있습니다. 이 모든 변화를 하나의 변수로 취급하면 거버넌스가 덜 정밀해집니다.

실용적인 목적을 위해서는 세 가지 차원을 구별해야 합니다. **역량 개선(Capability improvement)**은 지정된 조건 하에서 시스템이 무엇을 할 수 있는지에 관한 것입니다. **운영 개선(Operational improvement)**은 시스템이 승인된 작업을 얼마나 신뢰성 있게, 빠르게, 저렴하게, 또는 지속적으로 수행할 수 있는지에 관한 것입니다. **권한 확장(Authority expansion)**은 시스템이 세상에서 무엇에 접근하고, 수정하고, 위임하거나 야기하는 것이 허용되는지에 관한 것입니다. 이 차원들은 함께 움직일 수도 있지만, 반드시 그럴 필요는 없습니다.

이러한 구분은 중요합니다. 왜냐하면 권한(authority)은 제한된 상태를 유지하면서 역량(capability)이 성장할 수 있고, 반대로 역량은 안정적으로 유지되는 동안 새로운 도구, 자격 증명, 목표 또는 네트워크 연결을 통해 권한이 확장될 수 있기 때문입니다. 모델 성능만을 모니터링하는 거버넌스 프로세스는 두 번째 경우를 놓칠 것이며, 오직 권한만 모니터링하는 프로세스는 첫 번째 경우를 놓치게 됩니다. 안전한 자율성(Secure autonomy)은 이 두 가지 형태의 관찰과 그 상호작용에 대한 명시적인 평가를 모두 필요로 합니다.