Sovereign Tip #53: LLM 에이전트와 프롬프트 인젝션 (Prompt Injection)

프롬프트 인젝션 (Prompt injection)은 AI의 "사회 공학 (social engineering)"입니다:

1️⃣ 공격자들은 텍스트(이메일, 문서, 웹 페이지) 안에 명령어를 숨겨, 사용자의 원래 프롬프트를 무시하고 모델이 사용자의 목표 대신 공격자의 목표를 따르도록 만듭니다.

최근의 실제 사례들은 이것이 이론적인 문제가 아님을 증명합니다. ZombieAgent는 ChatGPT의 에이전트에서 발견된 제로 클릭 (zero-click) 취약점이었습니다. 정교하게 제작된 이메일 단 하나만으로 숨겨진 명령어를 심을 수 있으며, 사용자의 기기에 악성코드가 설치되지 않고 추가적인 클릭이 없더라도 사용자의 Gmail/Drive/GitHub 데이터를 읽고 미리 구축된 URL을 통해 이를 유출할 수 있습니다.

다른 연구(Morris II)에서는 이메일 어시스턴트 사이를 퍼져나가는 자기 복제형 "AI 웜 (AI worms)"을 보여주었습니다. 이들은 어시스턴트에 의해 처리되는 것만으로도 받은 편지함 데이터를 훔치고 추가적인 악성 이메일을 전송합니다.

2️⃣ 이제 이를 당신의 메인 컴퓨터에서 "도구를 사용할 수 있는 에이전트 (agents that can use tools)"와 결합해 보십시오. 만약 에이전트가 파일 시스템을 읽고, 웹을 브라우징하며, API를 호출하거나 셸 명령 (shell commands)을 실행할 수 있다면, 에이전트가 접하는 이메일, PDF, 노트 또는 웹사이트에 포함된 모든 적대적인 프롬프트는 대리인을 통한 원격 코드 실행 (remote code execution)으로 이어질 수 있습니다. 이전보다 더 정교한 프롬프트가 필요하긴 하지만 불가능한 일은 아닙니다.

당신은 사실상 혼란에 빠진 "인턴"에게 당신의 실제 기기에 대한 접근 권한을 준 것과 같습니다.

이는 OPSEC (운영 보안)의 정반대되는 행동입니다.

주권 (sovereignty)을 넘겨주지 않고 LLM 에이전트를 사용하는 방법:

샌드박스 (sandboxes)에서 에이전트 실행: VM (가상 머신), 별도의 사용자, 또는 키(keys), 개인 파일, 기본 편지함이 없는 희생용 노트북을 사용하십시오.

최소 권한 원칙 (least privilege) 적용: 가능한 경우 에이전트에게 읽기 전용 접근 권한만 부여하고, 운영 시스템 (production systems), 뱅킹, 또는 기본 이메일에 대한 직접적인 접근 권한은 절대 부여하지 마십시오.

ID 격리: AI 워크플로를 위한 계정과 편지함을 실제 페르소나와 분리하십시오. 에이전트가 보는 모든 것은 유출되거나 삭제될 수 있다고 가정하십시오.

모든 입력을 적대적인 것으로 간주: 이메일, 티켓, 웹 페이지, PDF, 문서 등 에이전트가 읽을 수 있는 모든 것은 숨겨진 명령어를 포함할 수 있으며, 이 명령어가 실행될 수 있습니다.

고위험 작업(money transfers, contract edits, code deployment 또는 법적/재무적 영향이 있는 모든 작업)에 대해서는 반드시 인간이 개입(human in the loop)하도록 하세요.

도구(tools) 및 플러그인(plugins)을 감사(audit)하고 최소화하세요: 추가되는 모든 도구는 데이터 오용을 위한 또 다른 경로가 됩니다.

당신은 이름 모를 계약업자가 당신의 노트북에 정체불명의 USB를 꽂고 기기 내부를 돌아다니게 내버려 두지 않을 것입니다.

LLM 에이전트가 아직은 당신의 주 컴퓨터(primary machine) 내부에서 작동하게 두지 마세요. 여전히 분리된 환경(separate environments)을 사용해야 합니다.
[IMG:1]