Anthropic이 방금 36페이지 분량의 보안 가이드 (Security Guide)를 발표했습니다. 핵심 메시지는 불편합니다.

여러분의 AI 에이전트 (AI agents)를 신뢰하는 것을 멈추십시오.

그들이 악의적이기 때문이 아닙니다. 대부분의 개발자들이 생각하지 못한 방식으로 취약점 공격 (exploitable)이 가능하기 때문입니다.

가이드가 실제로 말하는 내용은 다음과 같습니다:

여러분의 에이전트가 웹페이지를 읽습니다.
그 웹페이지에는 콘텐츠에 내장된 숨겨진 지침이 있습니다.
여러분의 에이전트는 그 지침을 따릅니다.
여러분은 그것이 일어나는 것을 결코 보지 못합니다.

이것이 프롬프트 인젝션 (Prompt injection)입니다.

그리고 이것은 이론적인 이야기가 아닙니다. 현재 프로덕션 시스템 (production systems)에서 실제로 일어나고 있는 일입니다.

이 가이드는 모든 에이전트 개발자가 실제 사용자에게 제품을 출시하기 전에 반드시 이해해야 할 10가지 특정 위협 카테고리를 다룹니다:

• 외부 콘텐츠로부터의 프롬프트 인젝션 (Prompt injection)
• 폭발 반경 (blast radius)을 확장하는 과도한 권한
• 장기 실행되는 에이전트의 동작을 손상시키는 메모리 포이즈닝 (Memory poisoning)
• 침해된 도구를 통한 공급망 공격 (Supply chain attacks)
• 전체 운영을 노출시키는 보안이 취약한 MCP 서버

대부분의 사람들이 건너뛸 섹션은 인간의 감독 (human oversight)에 관한 부분입니다.

Anthropic은 이에 대해 직설적으로 말합니다. 에이전트의 능력이 향상될수록, 중대한 결정에 있어 인간이 루프 안에 머무는 것 (keep humans in the loop)이 더욱 중요해집니다.

에이전트가 통제를 벗어나기 때문이 아닙니다. 에이전트가 확신을 가지고 잘못된 일을 수행할 것이며, 너무 늦을 때까지 여러분은 그것을 알지 못할 것이기 때문입니다.

실질적인 권장 사항:

• 최소 권한 (Minimal permissions). 에이전트는 특정 작업에 필요한 것에만 접근할 수 있어야 합니다. 그 이상은 안 됩니다.
• 샌드박스 실행 (Sandboxed execution). 현실 세계에 영향을 미치는 작업은 실행되기 전에 인간의 확인이 필요합니다.
• 입력 및 출력 검증 (Input and output validation). 에이전트로 들어오고 나가는 모든 것은 확인되어야 합니다.
• 모니터링 및 로깅 (Monitoring and logging). 에이전트가 무엇을 하고 있는지 볼 수 없다면, 언제 침해되었는지 알 수 없습니다.
• 에이전트의 출력을 신뢰할 수 없는 것으로 취급하십시오. 여러분 자신의 에이전트가 내리는 추론 (reasoning)조차 세션 초기에 처리한 외부 콘텐츠에 의해 영향을 받을 수 있습니다.

이 36페이지는 다음 에이전트를 중요한 사용자에게 출시하기 전에 읽어볼 가치가 있습니다.

다음 에이전트 배포 (deploy) 전에 이 글을 북마크해 두십시오.

빌더(builders)가 프로덕션 에이전트 (production agents)를 생각하는 방식을 변화시킬 모든 Anthropic 보안 릴리스를 확인하려면 @cyrilXBT를 팔로우하세요.
[IMG:1]