AI 에이전트의 미래를 안전하게 확보하는 방법

점점 더 유능해지고 완벽하게 정렬되지 않은 AI에 맞서 내부 시스템을 보호하는 방법

AI 에이전트는 우리가 기술과 관계 맺는 방식을 변화시키고 있습니다. 사이버 방어부터 과학적 발견, 제품 개발에 이르기까지 복잡한 작업을 자율적으로 실행함으로써, 이러한 시스템은 생산성의 새로운 시대를 열고 있습니다. 미국에서만 AI 에이전트가 2030년까지 2조 9천억 달러의 경제적 가치를 창출할 수 있습니다.

이러한 에이전트들이 더 유능해짐에 따라, 더욱 정교한 안전장치도 필요합니다. 그래서 우리는 'AI 제어 로드맵(AI Control Roadmap)'을 개발했습니다. 이는 Google 내부에서 배포하는 고급 AI를 구축하고 관리하기 위한 프레임워크입니다. 광범위한 산업의 모델이 될 수 있는 이 '깊이 방어(defense-in-depth)' 접근 방식은 전통적인 모델 정렬을 넘어, 정렬에 결함이 있더라도 보장성을 제공하는 중요한 시스템 수준 보안 계층을 추가합니다.

AI 제어 이해하기

우리의 보안 접근 방식은 샌드박싱(sandboxing), 엔드포인트 보안(endpoint security), 프롬프트 주입 방지 등 전통적인 안전장치를 통합하는 강력한 기반에서 시작됩니다. 그 위에, AI 제어 로드맵은 모델 정렬(model alignment)을 주요 방어 수단으로 사용합니다. 즉, AI가 본질적으로 안전하고 도움이 되도록 훈련시키는 것입니다. 이는 내부 에이전트를 잠재적으로 잘못 정렬된 것으로 취급함으로써 추가적인 보안 계층을 제공하며, 정렬에 결함이 있더라도 보장성을 제공합니다.

이는 마치 이중 제어 장치가 있는 운전 교관과 같습니다. 교관은 학생을 신뢰하지만 실수가 발생하면 핸들을 잡거나 브레이크를 밟을 준비가 되어 있습니다. 마찬가지로, 우리의 AI 제어 시스템은 에이전트의 검증된 행동에 기반하여 권한을 부여함으로써, 통제되고 점진적인 접근을 통해 신뢰를 구축할 수 있게 합니다.

우리의 로드맵은 간단하지만 조심스러운 가정 위에 세워져 있습니다. 만약 매우 유능한 AI 에이전트가 우리의 목표와 정렬되지 않아 예상치 못한 방식으로 행동한다면 어떨까? 이를 해결하기 위해, 우리의 계획은 세 가지 핵심 영역에 중점을 둡니다.

첫째, 사이버 보안의 모범 사례를 따라, 우리는 AI를 위한 새로운 위협 모델링 프레임워크를 개발했습니다. 이 로드맵은 신뢰할 수 없는 AI 에이전트를 잠재적인 “내부 위협(insider threats)”으로 간주합니다. 이는 마치 회사에서 이미 사무실 접근 권한을 가진 잠재적인 일탈 직원을 대하는 방식과 유사합니다. 전 세계적으로 접근 가능한 적대자 전술 및 기법에 대한 지식 기반인 업계 표준 MITRE ATT&CK 프레임워크를 기반으로, 우리는 잠재적 공격을 더 작은 전술과 기법으로 세분화합니다. 이를 통해 위험을 체계적으로 추적하고, 피해를 일으키기 전에 잘못된 행동을 발견하며, 방어 시스템이 실제로 작동하는지 테스트하기 위한 안전한 훈련(drills)을 수행할 수 있습니다.

둘째, 이러한 위험을 해결하기 위해 AI 제어 완화(AI control mitigations)를 배포할 계획을 개발합니다.

• 문제 식별 (Detection): 모니터링은 AI 제어의 핵심입니다. 우리는 다른 신뢰할 수 있는 AI 시스템을 “감독자(supervisors)”로 사용하여, 작동 중인 에이전트의 추론 과정, 행동 및 계획을 지속적으로 검토하여 경로를 이탈하는지 확인합니다.
• 문제 관리 (Prevention and Response): 만약 감독자가 에이전트가 유해한 무언가를 시도하는 것을 발견하면, 피해가 발생하기 전에 개입하여 해당 행동을 차단할 수 있습니다.

마지막으로, 시스템의 기능성을 보장하기 위해 세 가지 중요한 지표에 걸쳐 성능을 지속적으로 측정합니다: 커버리지(모니터링되는 트래픽의 비율), 재현율(포착된 정렬되지 않은 행동의 비율), 그리고 응답 시간입니다.

AI가 더 똑똑해짐에 따라 보안 확장하기

AI 모델이 계속 발전함에 따라, 우리의 방어 체계 역시 그에 맞춰 강화되어야 합니다. 저희 AI 제어 로드맵에서는 두 가지 중요한 전선에서 AI 역량의 측정 가능한 이정표와 보안 프로토콜을 매핑합니다:

탐지 회피 능력: 오늘날 우리는 모델의 가시적인 사고 과정(chain-of-thought)을 모니터링합니다. 하지만 모델들이 추론 과정을 숨기는 방법을 학습함에 따라 — *감독 인식 (oversight awareness)*을 통해서든 (자신이 감시당하고 있음을 아는 것) 또는 *불투명한 추론 (opaque reasoning)*을 통해서든 (가시적인 텍스트를 사용하지 않고 추론하는 것) — 단순히 언어화된 추론만을 읽는 것으로는 충분하지 않을 것입니다. 우리는 그들의 행동을 분석하고 잠재적으로 모델의 내부 작동 방식을 검사해야 할 것입니다.잠재적 피해 능력: 위험도가 낮고 되돌릴 수 있는(reversible) 행동의 경우, 지연된 전사본(transcript) 검토에 의존하여 문제가 발생한 후에 신속하게 해결할 수 있습니다 (비동기 응답). 반면, 대규모 사이버 공격과 같은 특히 높은 위험도의 행동의 경우에는, 유해한 행동이 실행되기 전에 차단하는 실시간 예방으로 전환해야 합니다 (동기 응답). 다시 말해, 우리의 대응 전략은 위협의 심각도에 맞춰 확장되어야 합니다.