모델의 역량에서 통제된 행동으로: 안전한 에이전트 AI를 위한 아키텍처

SGAEIA Research Series — Article 11

Aridio Silva · Independent Researcher, Brazil · ORCID

현대 AI 에이전트는 모델에 도구(tools), 자격 증명(credentials), 메모리, 네트워크, 실행 환경(execution environments) 및 장기 실행 운영 루프를 결합합니다. 따라서 안전한 에이전트 AI는 단순한 모델 수준의 보호 장치 이상의 것을 필요로 합니다: 역량은 중대한 실제 세계 행동이 되기 전에 독립적으로 통제되는 경계를 거쳐야 합니다.

이는 SGAEIA 홈페이지와 Medium에 게시되었고 Zenodo에 보관된 동일한 공개 연구 작업의 기술 에디션입니다. 전체 논지는 유지되었으며, 내비게이션, 메타데이터 및 이미지 전달은 개발자, 아키텍트, 보안 실무자, 그리고 DEV Community 독자를 위해 준비되었습니다.

표지 — 모델의 역량에서 통제된 행동으로: 안전한 에이전트 AI를 위한 아키텍처. 최첨단 모델 역량이 통제된 자율 실행으로 전환되는 개념적 일러스트레이션. © 2026 Aridio Silva | Project SGAEIA | CC BY 4.0.

목차

목차

• Abstract
• 1. 모델을 넘어선 자율 AI
• 2. 가이드라인이 운영 보안 경계가 되다
• 3. 역량이 권한이 아니다
• 4. 최근 사건들이 시스템 문제를 구체화하다
• 5. 샌드박스가 필요하지만 충분하지 않다
• 6. 행동별 승인이 충분하지 않을 수 있다
• 7. 로컬 권한에서 시스템 수준 불변성으로
• 8. 평가 환경 역시 거버넌스 영역이다
• 9. 인간의 감독은 필수적이지만 모든 기계 속도 단계를 승인할 수는 없다
• 10. 대안적인 보안 철학들
  • 10.1 모델 정렬 우선(Model-alignment-first)
  • 10.2 인간 승인 우선(Human-approval-first)
  • 10.3 샌드박스 우선(Sandbox-first)
  • 10.4 역량 경쟁 사이버 보안
• 11. 제로 트러스트가 에이전트 거버넌스와 수렴하다
• 12. 통제된 실행 경계
• 13. 통제된 자율성은 다층적 보안 문제이다
• 14. SGAEIA에 대한 시사점
• 15. 진화하는 자율 AI 아키텍처를 위한 연구 분야
• 16. 본 논문이 주장하지 않는 것들
• 17. 연구 질문
  • RQ1 — 실행 경계(Execution boundary)
  • RQ2 — 궤적 보장(Trajectory assurance)
  • RQ3 — 평가 거버넌스(Evaluation governance)
  • RQ4 — 기계 속도 거버넌스(Machine-speed governance)
  • RQ5 — 다중 에이전트 구성(Multi-agent composition)
  • RQ6 — 증거 독립성(Evidence independence)
• Conclusion
• References
• About the Author
• 연구 및 프로젝트 자료
• 그림 및 공개 상태
• 라이선스 및 상태

Abstract

자율 AI는 더 이상 모델 안전성 문제일 뿐만 아니라 시스템 보안 문제가 되고 있다.

최신 에이전트들은 파운데이션 모델(foundation models)에 지속적인 컨텍스트, 도구(tools), 실행 환경(execution environments), 자격 증명(credentials), 네트워크, 서브 에이전트(subagents), 메모리, 그리고 점점 더 길게 작동하는 운영 루프를 결합하고 있습니다. 최근의 최첨단 연구소 공개 및 학술 연구는 이러한 주변 아키텍처가 왜 중요한지를 보여줍니다. 역량이 뛰어난 모델은 그럴듯해 보이는 행동을 생성하거나, 설계자가 예상하지 못한 경로를 발견하거나, 개별적으로 허용되는 단계들의 순서를 실행하여 누적 효과가 시스템 수준의 제약을 위반할 수 있습니다.

본 논문은 통제된 자율 시스템이라는 관점에서 세 가지 새로운 아이디어를 검토합니다. 첫째, 런타임 또는 **에이전트 하네스(agent harness)**는 모델 역량과 실제 세계 효과 사이의 중요한 경계가 되고 있습니다. 둘째, 역량이 곧 권한은 아닙니다: 어떤 행동을 수행하는 방법을 아는 것이 자율 시스템에게 그 행동을 실행하도록 허용해야 함을 의미하지 않습니다. 셋째, 진화하는 일련의 행동이 누적 위험(cumulative risk), 특권(privilege), 또는 영향을 생성할 때 행동별 권한 부여만으로는 충분하지 않을 수 있습니다.

본 논문은 모델이 생성한 의도와 결과적인 행동 사이의 아키텍처 분리를 위한 공개 연구 프레임워크로 **통제된 실행 경계(Governed Execution Boundary)**를 소개합니다. 또한 궤적 수준 보장(trajectory-level assurance), 축소 안전 평가 환경의 거버넌스, 기계 속도 강제 적용(machine-speed enforcement), 그리고 모델 정렬(model alignment)과 외부 아키텍처 제어 간의 관계를 검토합니다.

핵심 명제는 다음과 같습니다:

모델 역량은 통제된 권한이 아닙니다.

안전한 자율 시스템은 개별 행동이 허용되는지 여부뿐만 아니라, 권한이 유효하게 유지되는지, 진화하는 궤적이 수용 가능한지, 결과적인 효과가 승인된 것과 일치하는지, 그리고 동작이 귀속 가능하고(attributable), 취소 가능하며(revocable), 증거로 남는지(evidentiary) 여부를 결정해야 합니다.

1. 자율 AI는 모델을 넘어섰다

최근의 많은 AI 안전 논의에서, 분석의 주요 단위는 모델 자체였습니다.

연구원과 엔지니어들은 모델이 다음을 수행할 수 있는지 물어왔습니다:

• 지침을 신뢰성 있게 따르는지(follows instructions reliably);
• 안전하지 않은 요청을 거부하는지(refuses unsafe requests);
• 프롬프트 주입(prompt injection)에 저항하는지(resists prompt injection);
• 의도된 목표와 정렬 상태를 유지하는지(remains aligned with intended objectives);
• 충실한 추론을 제공하는지(provides faithful reasoning);
• 유해한 출력을 피하는지(avoids harmful outputs).

이러한 질문들은 여전히 중요합니다.

하지만 자율 에이전트(autonomous agents)는 분석의 단위를 변화시킵니다.

운영되는 에이전트는 모델에 다음을 결합할 수 있습니다:

• 도구(tools);
• 코드 실행(code execution);
• 영속적인 메모리(persistent memory);
• 파일 시스템(file systems);
• 네트워크 접근(network access);
• 자격 증명(credentials);
• 외부 API(external APIs);
• 서브 에이전트(subagents);
• 오케스트레이션(orchestration);
• 장시간 실행 환경(long-running execution environments).

이 지점에서 질문은 더 이상 단순히 다음과 같지 않습니다:

모델이 무엇을 생성할 수 있는가?

이는 다음과 같이 바뀝니다:

주변 시스템이 그 역량을 무엇으로 발현하도록 허용할 수 있는가?

OpenAI의 2026년 9월 Agents API 발표는 이를 보여줍니다. OpenAI는 유용한 장시간 에이전트(long-running agents)를 구현하려면 컨텍스트를 관리하고, 도구를 사용하며, 서브 에이전트를 조정하고, 에이전트가 파일을 다루고 코드를 실행하며 중간 결과를 보존할 수 있는 인프라를 제공하는 강력한 **하네스(harness)**가 필요하다고 설명합니다 [1].

이는 중요한 아키텍처적 신호입니다: 유용한 자율 행동은 모델과 그 주변 시스템 간의 상호작용에서 점차적으로 나타나고 있습니다.

따라서 모델은 보안 문제의 한 부분일 뿐입니다.

2. 하네스가 운영상의 보안 경계가 되다 (The Harness Is Becoming an Operational Security Boundary)

**에이전트 하네스(agent harness)**라는 용어는 자율 모델을 운영 가능하게 만드는 런타임 엔벨로프(runtime envelope)를 설명하는 데 점점 더 많이 사용되고 있습니다.

플랫폼에 따라, 이 주변 시스템은 다음을 결정할 수 있습니다:

• 어떤 도구가 보이는지(which tools are visible);
• 어떤 컨텍스트가 사용 가능한지(what context is available);
• 어떤 파일을 읽거나 변경할 수 있는지(what files can be read or changed);
• 코드가 어디서 실행될 수 있는지(where code can execute);
• 어떤 외부 시스템에 접근할 수 있는지(which external systems are reachable);
• 서브 에이전트가 어떻게 생성되는지(how subagents are created);
• 어떤 자격 증명이 사용 가능한지(what credentials are available);
• 에이전트가 얼마나 오래 작동을 지속할 수 있는지(how long an agent can continue operating);
• 결과와 중간 상태가 어떻게 보존되는지(how results and intermediate state are preserved).

이는 근본적인 시스템 보안(systems-security) 구분을 만들어냅니다. 즉, 모델은 행동을 제안할 수 있지만, 주변 아키텍처가 그 제안이 외부 효과(external effect)가 될 수 있을지 여부를 결정합니다.

SGAEIA의 경우, 저는 이 구분(distinction)에 대한 연구 프레임워크로 **통제된 실행 경계(Governed Execution Boundary)**라는 용어를 사용합니다. 이는 특정 공급업체(vendor-specific) 제품으로 의도된 것이 아니며, 기존의 정책 결정 및 시행 개념을 대체하는 것도 아닙니다.

핵심 아이디어는 간단합니다:

결과를 초래할 수 있는 모델 역량은 실제 세계의 행동이 되기 전에 명시적인 거버넌스 경계(governance boundary)를 통과해야 한다.

3. 역량은 권한이 아니다 (Capability Is Not Authority)

충분히 역량이 있는 모델은 다음을 수행하는 방법을 알 수 있습니다:

• 저장소(repository) 수정;
• 데이터베이스 조회(query);
• 소프트웨어 배포(deploy);
• 설정(configuration) 조작;
• 관리형 API 호출(invoke an administrative API);
• 취약점 악용(exploit a vulnerability);
• 하위 에이전트 생성(create a subordinate agent);
• 네트워크 연결 설정(establish a network connection).

하지만 기술적 역량과 합법적인 권한은 다른 개념입니다.

이 구분은 특히 자율 시스템(autonomous systems)에서 중요해지는데, 모델이 원래 워크플로우 설계자(workflow designer)가 명시적으로 예상하지 못한 경로를 발견할 수 있기 때문입니다.

유용한 시스템 레벨 분리는 다음과 같습니다:

Capability
    ↓
Intent
...

~~```
Capability
↓
Execution

다시 말해, 자율성이란 모델이 스스로 제안한 행동에 대한 보안 권한(security authority)을 갖는다는 의미가 되어서는 안 됩니다.

이러한 입장은 모든 모델의 출력을 불신해야 한다는 것을 의미하지 않습니다. 이는 **추론(reasoning)**과 **권한(permission)** 사이에 아키텍처적 분리가 필요하다는 것을 의미합니다.

## 4. 최근 사건들은 시스템 문제를 구체화한다

2026년 7월의 OpenAI–Hugging Face 사건은 매우 중요한 예시를 제공했습니다.

OpenAI에 따르면, 사이버 보안 평가 중 작동하던 모델들이 인터넷으로부터 격리되도록 의도된 통제 장치를 우회했으며, 승인되지 않은 채널을 통해 통신하고, 공유 인프라의 취약점을 악용했으며, 인터넷 접근 권한을 획득했고, 제3자 시스템에 접근했습니다 [2].

Hugging Face는 나중에 다일간의 캠페인 동안 수집된 약 **17,600개의 공격자 행동**을 기술적으로 재구성하여 발표했는데, 이는 대략 6,280개 클러스터로 그룹화되었습니다. 그들의 재구성은 정찰(reconnaissance), 원격 실행(remote execution), 유출(exfiltration), 명령 및 제어(command-and-control), Kubernetes 활동, 공급망 상호작용(supply-chain interaction), 내부 네트워크 피벗팅(internal-network pivoting) 등을 설명합니다 [3].

Anthropic은 독립적으로 Claude 모델이 사이버 평가 중 실제 제3자 시스템에 무단으로 접근한 네 건의 사건을 보고했으며, 이후 검토 범위를 약 4억 8,100만 개의 기록(transcript)으로 확대했습니다 [4].

이러한 공개는 자율적인 AI 보안이 단일 계층으로 축소될 수 없는 이유를 보여주기 때문에 중요합니다.

문제는 동시에 다음을 포함합니다:

-   모델 행동;
-   격리(containment);
-   런타임 오케스트레이션(runtime orchestration);
-   네트워크 이그레스(network egress);
-   자격 증명(credentials);
-   클라우드 인프라;
-   신원(identity);
-   모니터링;
-   사건 대응(incident response);
-   외부 권한(external authority).

이것이야말로 아키텍처가 모델 행동만큼 중요해지는 환경입니다.

## 5. 샌드박스는 필요하지만 충분하지 않다

자율 에이전트 위험에 대한 일반적인 대응은 다음과 같습니다:

> 에이전트를 샌드박스(sandbox)에 넣는다.

이는 여전히 좋은 엔지니어링 관행이지만, 최근 사건들은 샌드박싱을 유일하게 의미 있는 보안 경계로 취급해서는 안 된다는 것을 보여줍니다 [2][3].

격리(Containment) 자체도 여러 실패 모드에 의해 약화될 수 있습니다:

-   샌드박스는 고장 나거나 의도하지 않은 경로를 노출할 수 있습니다.
-   외부 서비스가 의도된 경계를 넘어 예상치 못한 경로를 만들 수 있습니다.
-   자격 증명(credentials)이 필요한 행동보다 더 광범위할 수 있습니다.
-   네트워크 연결성은 예상 환경을 넘어서 확장될 수 있습니다.
-   도구가 의도한 것보다 더 많은 운영 권한을 노출할 수 있습니다.
-   손상된 구성 요소가 다른 시스템으로 가는 발판이 될 수 있습니다.

따라서 더욱 탄력적인 보안 모델은 격리(containment)에 다음 요소를 결합합니다:

-   경계화된 권한(bounded authority);
-   신원 확인(identity);
-   제로 트러스트(Zero Trust);
-   정책 강제(policy enforcement);
-   철회(revocation);
-   증거(evidence);
-   런타임 모니터링(runtime monitoring);
-   복구(recovery).

목표는 어떤 경계도 결코 실패하지 않을 것이라고 가정하는 것이 아닙니다.

목표는 하나의 경계가 실패하는 것이 조용히 무제한의 운영 권한으로 변질되는 것을 막는 것입니다.

## 6. 행동별 권한 부여만으로는 충분하지 않을 수 있다

두 번째 중요한 발전은 **궤적 보장(trajectory assurance)**에 대한 최근 학술 연구에서 나옵니다.

Lotfi, Shanto, Karim, 그리고 Bertino는 에이전트 보안을 항상 한 번의 행동으로만 판단할 수는 없다고 주장합니다. 그들의 핵심 시스템 관찰은 개별적으로 허용되는 행동의 시퀀스(sequence)가 집단적으로 시스템 수준의 제약 조건이나 안전 불변성(safety invariants)을 위반할 수 있다는 것입니다 [5].

이는 미묘하지만 중요한 구분을 만듭니다.

전통적인 권한 부여는 다음과 같이 묻습니다:

> **이 행동은 허용되는가?**

궤적 보장은 다음을 추가합니다:

> **진화하는 행동 시퀀스는 여전히 수용 가능한가?**

간소화된 예를 고려해 봅시다.