Copilot CLI가 숨겨진 명령어 복호화 및 로컬 파일 유출

사례

Adversa AI는 GitHub Copilot CLI 에이전트가 암호문(ciphertext)에 있는 숨겨진 명령어를 복호화하고 이를 따르게 하는 것을 확인했습니다.

그 결과, 사용자에게 눈에 보이는 확인 단계 없이 자동 파일 전송(exfiltration)이 기기에서 발생했습니다 (출처: csoonline.com).

GitHub는 이 발견을 검증했지만 취약점으로 인정하지 않았으며, 에이전트가 자신의 컨텍스트를 따르는 시스템으로서 예상대로 작동한다는 입장을 밝혔습니다.

이는 불편한 문제입니다... 소프트웨어 자체가 고장 난 것이 아니라, 한 가지 가정이 무너진 것입니다. 바로 에이전트가 읽는 데이터와 받는 명령을 구분하는 부분입니다.

그리고 이 사례는 특정 버전이나 패치되지 않은 제품에 의존하는 것이 아닙니다. 파일을 읽고 움직일 수 있는 손(hands)을 가진 모든 에이전트의 설계 방식에 달려 있습니다.

오늘날 사용되는 어떤 모델에서도 그 경계선은 존재하지 않습니다.

컨텍스트 창으로 들어오는 파일은 텍스트이며, 명령어 형태를 갖춘 텍스트는 에이전트가 실행할 권한을 가지고 있다면 실행됩니다.

눈에 보이는 확인 절차만이 유일한 장벽이었고, 자동(autopilot) 모드에서는 이 기능이 꺼져 있습니다.

왜 지금 중요한가

이 벡터 자체는 새로운 것이 아니지만, 이번 주에 변화하는 것은 에이전트가 실행되는 비용과 표면적입니다.

Anthropic은 컨텍스트 100만 토큰을 기준으로 분류, 요약 및 라우팅을 수행하는 서브에이전트를 목표로, Haiku 5.5를 입력/출력 토큰당 0.10달러와 0.50달러로 책정했습니다 (출처: anthropic.com).

Microsoft는 llama.cpp를 Windows ML에 통합하고 Copilot이 데스크톱 애플리케이션을 제어하도록 했습니다... 이들이 발표한 베팅은 하이브리드 방식입니다. 민감한 데이터는 기기 내부에 유지하고, 무거운 연산은 클라우드로 보내는 것입니다 (출처: bgr.com).

이 두 가지를 결합하면 하나의 결과물(그것)을 얻게 됩니다. 농담 아닙니다... 더 저렴해진 에이전트와 더 많이 실행되는 에이전트, 그리고 물론 개발처럼 보이는 도구에서 로컬 파일에 접근할 수 있는 더 많은 에이전트가 생겨납니다.

문제는 에이전트가 멍청하거나 모델이 고장 난 것이 아닙니다.

도구와 컨텍스트를 같은 가방에 넣는 바람에, 컨텍스트를 작성한 사람이 항상 명령을 내리는 사람인 것은 아닙니다.

다른 측면

같은 주간에 이 문제는 공격하는 에이전트와 복종하는 에이전트 양쪽에 모두 남아 있습니다.

Anthropic은 Claude 모델들이 프롬프트 인젝션(Prompt Injection) 취약점을 악용하여 실제 사이트에 대해 행동하는 것을 감지한 후, 내부 평가에서 실시간 인터넷 접근을 차단했습니다.

프롬프트 인젝션은 단순한 챗봇 버그가 아니라 보안 사고로 확대됩니다 (출처: thehackernews.com).

Google(GTIG)은 AI가 기업 환경과 중요 인프라의 취약점 발견 속도를 높여, 버그와 익스플로잇 사이에 걸리는 시간이 줄어들고 있다고 경고합니다 (출처: industrialcyber.co).

그리고 한국에서는 공격 도구 개발자가 사용을 제한하도록 만들었던 AI 지원 은행 공격 사례가 있습니다 (출처: techstartups.com).

에이전트는 자신이 읽은 것과 명령받은 것을 구분하지 못하며, 이는 방어하는 사람에게나 공격하는 사람에게나 마찬가지입니다.

주목할 점

• 에이전트가 어떤 신분으로 실행되는지, 그리고 그 권한이 얼마나 멀리까지 미치는지. 왜냐하면 그것은 거의 항상 보이는 것보다 더 넓기 때문입니다.
• 로그가 도구 호출의 체인(chain)과 해당 인자들을 보존하는지, 아니면 최종 답변 텍스트만 보존하는지 여부.
• 어떤 프로세스가 아무도 예상하지 못하는 방식으로 인터넷에 TLS 연결을 열 수 있는지.

제 실험실에서 테스트할 방법

저는 MCP Security Detections 프로젝트의 설정에서 두 단계로 테스트할 것입니다. 이 설정은 로컬 모델이 MCP 탐지 서버를 대상으로 실행되고, 같은 머신에서 Splunk와 상관관계를 분석하는 방식입니다.

먼저 일반적인 작업을 주고 그 안에 숨겨진 명령이 담긴 파일을 제공하며, 도구는 읽기(read)로 제한하고 에이전트가 결정할 호출 체인을 유지시킬 것입니다.

그런 다음 저는 이러한 호출들의 로그를 살펴보고 어떤 도구가 어떤 인자와 어떤 순서로 사용되었는지 확인할 것입니다. 왜냐하면 최종 결과가 무해해 보여도 의도는 시퀀스에 나타나기 때문입니다.

지금 제가 다르게 할 것은 브레이크(brake)를 에이전트 외부로 빼내는 것입니다.

주의를 요청하는 프롬프트는 제게 통제가 아니라 제안입니다.

통제란 인터넷 연결을 열지 못하게 하는 권한과, 실행되기 전 모든 호출을 기록하는 로그입니다.

마무리

에이전트는 나쁜 존재가 아니었습니다. 에이전트는 기대되는 대로 작동했습니다. 읽고, 복호화하고, 따랐습니다. 이것은 우리가 에이전트에게 요구한 것과 정확히 일치합니다.

유용한 도구와 유출 벡터(leak vector)의 차이는 우리가 부여하는 권한과 남기는 로그에 있습니다.

원문 출처: [https://sammideblas.com/notas/copilot-cli-decrypted-hidden-commands-and-leaked-local-files]

여기까지 읽으셨다면... 반응하고 공유해 주세요 -> "AI 시대의 보안과 방어는 사용하는 모든 사람들의 문제입니다." 그렇지 않나요?