실제 프롬프트 인젝션 (Prompt Injection) 사례 — 그리고 이것이 내 스캐너에서 드러낸 사각지대

배울 가치가 있는 기록된 실제 사례가 있습니다. 2025년, Legit Security의 연구원들은 GitLab Duo가 일반적인 프로젝트 콘텐츠 내에 숨겨진 지침에 의해 조종될 수 있음을 보여주었습니다. 이것이 작동할 수 있었던 이유 중 하나는 은닉(concealment)이었습니다. 페이로드(payloads)가 유니코드 밀수(Unicode smuggling) 및 Base16 인코딩(encoding)과 같은 트릭으로 가려져 있어, 사람이나 단순한 텍스트 필터에는 명확히 드러나지 않았습니다. GitLab은 이에 대한 패치를 적용했습니다 (duo-ui!52로 추적됨).

제가 이 이야기를 꺼내는 이유는 이것이 제가 방금 제 스캐너에서 기록한 사각지대와 일치하기 때문입니다. 제 도구는 Category-1 시스템 프롬프트(system-prompt) 유출을 읽을 수 있는 문자열로 확인합니다. 만약 유출된 내용이 base64로 인코딩되어 있거나, 토큰(tokens)에 걸쳐 분할되어 있거나, 간격이 떨어져 있거나, 혹은 다른 방식으로 변형되어 있다면, 저의 결정론적 부분 문자열 일치기(deterministic substring matcher)는 이를 감지하지 못합니다. 제가 갖추지 못한 기능을 갖춘 것처럼 암시하는 대신, 스캔 결과와 --canary 도움말에 인코딩/분할된 유출은 감지되지 않는다는 명시적인 경고를 추가했습니다.

솔직한 프레임워크를 말씀드리자면: 평문 그대로의 사례를 잡아내는 것은 실제적이며 테스트 가능합니다. 모든 인코딩된 변형을 잡아내는 것은 결정론적 일치기(deterministic matcher)가 하는 일이 아니며, 그렇지 않은 척하는 것은 목적에 어긋납니다.

스캐너(및 그 한계 자체)는 오픈 소스입니다: https://github.com/ghkfuddl1327-wq/rojaprove