AI 에이전트의 프롬프트 주입 방어: 사회 공학적 접근

최근 AI 에이전트는 웹 검색이나 정보를 가져와 사용자를 대신해 행동할 수 있는 능력을 갖추게 되었습니다. 이러한 능력은 유용하지만, 공격자들이 시스템을 조작할 새로운 방법을 만들기도 했습니다.

초기 '프롬프트 주입(prompt injection)' 공격은 단순한 명령어 오버라이드 수준이었지만, 실제 환경에서는 사회 공학적 기법과 결합하는 형태로 진화하고 있습니다. 따라서 단순히 악성 문자열만 걸러내는 필터링 방식으로는 방어에 한계가 생겼습니다.

OpenAI는 AI 에이전트를 고객 서비스 직원처럼 접근하여, 시스템 자체를 설계할 때부터 조작의 영향을 제한(constrain the impact of manipulation)하는 것이 중요하다고 강조합니다. 즉, 공격을 완벽하게 막기보다, 설령 공격이 성공하더라도 피해 범위를 최소화하는 데 초점을 맞추는 것입니다.

이를 위해 '출처-싱크(Source-Sink)' 분석 모델을 활용합니다. 이 관점에서는 시스템에 영향을 미치는 출처(source)와 잘못된 맥락에서 위험해지는 싱크(sink, 예: 외부 전송 기능)를 모두 차단하는 것이 핵심입니다. 특히 대화 중 얻은 민감 정보를 제3자에게 전송하려는 시도는 안전 장치(Safe Url 등)를 통해 감지하고 사용자에게 확인을 요청하거나 아예 차단합니다.

이러한 다층적인 접근 방식은 AI 에이전트가 항상 제한된 규칙과 통제된 환경 내에서 작동하도록 보장함으로써, 시스템의 전반적인 보안 기대치를 높입니다.