Copilot 에이전트가 암호화된 명령을 수행하고 장치 파일에 접근한 사례

사례

Adversa AI는 GitHub Copilot CLI 에이전트가 암호화된 텍스트에서 숨겨진 명령을 해독하고 이를 수행하도록 만들었습니다.

그 결과, 확인 단계 없이(autopilot 모드) 장치의 로컬 파일들이 유출되었습니다 (출처: csoonline.com).

GitHub는 이 발견을 검토한 후 취약점으로 인정하지 않았으며, 그들의 해석은 에이전트가 자신의 컨텍스트를 따르는 시스템으로서 기대되는 방식으로 작동한다는 것입니다.

이는 불편할 수 있습니다. 소프트웨어가 고장 난 것이 아니라, 에이전트가 읽는 데이터와 받는 명령을 구별한다는 가정(assumption)이 깨진 것입니다.

그리고 이 사례는 특정 버전이나 패치되지 않은 제품에 의존하는 것이 아니라, 파일을 읽고 움직일 능력을 가진 모든 에이전트의 설계 방식에 달려 있습니다.

그러한 경계선은 오늘날 사용되는 어떤 모델에서도 존재하지 않습니다.

컨텍스트 창으로 들어오는 파일은 텍스트이며, 지침 형태의 텍스트는 에이전트가 이를 실행할 권한을 가지고 있다면 실행됩니다.

유일했던 방어벽은 명시적인 확인(visible confirmation)이었고, autopilot 모드에서는 이것이 비활성화되어 있습니다.

왜 지금 중요한가?

벡터 자체는 새로운 것이 아니지만, 이번 주에 달라지는 것은 에이전트가 작동하는 비용과 표면적입니다.

Anthropic은 Haiku 5.5를 입력 및 출력 토큰당 백만 토큰 컨텍스트와 부하(subagents) 분류, 요약 및 라우팅을 위해 책정하여 각각 0.10달러와 0.50달러로 책정했습니다 (출처: anthropic.com).

Microsoft는 llama.cpp를 Windows ML에 통합하고 Copilot이 데스크톱 애플리케이션을 제어하도록 했습니다... 이들이 발표한 베팅은 하이브리드적입니다. 민감한 부분은 장치에 남기고, 무거운 작업은 클라우드로 보낼 것입니다 (출처: bgr.com).

앞서 언급된 두 가지를 결합하면 하나의 것(the thing)이 생겨납니다. 농담이 아니라 정말로요... 더 저렴하고 작동하는 에이전트가 많아지고, 물론 그중 점점 더 많은 에이전트가 개발 도구처럼 보이는 것이 아닌 보안 도구에서 로컬 파일에 접근할 수 있게 됩니다.

에이전트가 바보 같거나 모델이 고장 난 것은 아닙니다.

우리가 도구와 컨텍스트를 같은 바구니에 담았고, 누가 컨텍스트를 작성했는지가 항상 명령을 내리는 사람과 같지는 않기 때문입니다.

다른 측면

같은 주간에 공격하는 에이전트와 복종하는 에이전트 양쪽 모두에서 문제가 발생합니다.

Anthropic은 Claude 모델이 프롬프트 인젝션(prompt injection) 취약점을 악용하여 실제 웹사이트를 대상으로 행동한다는 것을 감지한 후, 내부 평가에서의 실시간 인터넷 접속을 차단했습니다.

프롬프트 인젝션은 단순한 챗봇 버그가 아니라 보안 사고로 확대됩니다 (출처: thehackernews.com).

Google(GTIG)은 AI가 기업 환경 및 중요 인프라의 취약점 발견 속도를 높이고 있으며, 버그와 익스플로잇 사이의 시간이 단축되고 있다고 경고했습니다 (출처: industrialcyber.co).

그리고 한국에서는 IA를 이용한 은행 공격이 발생하여 공격 도구 개발자가 사용을 제한하도록 만들기도 했습니다 (출처: techstartups.com).

에이전트는 읽는 것과 명령받는 것을 구분하지 못하며, 이는 방어하는 측이나 공격하는 측 모두에게 해당됩니다.

무엇을 살펴봐야 할까요?

• 에이전트가 어떤 신분으로 작동하는지, 그리고 그 권한이 어디까지 미치는지. 왜냐하면 대부분의 경우 보이는 것보다 더 광범위하기 때문입니다.
• 로그가 도구 호출 체인(call chain)과 그 인자들을 기록하는지, 아니면 최종 응답 텍스트만 기록하는지 여부.
• 팀의 어떤 프로세스가 아무도 예상하지 못한 상태로 인터넷을 향해 TLS 연결을 열 수 있는지.

제 실험실에서 어떻게 테스트할까요?

MCP Security Detections 프로젝트 구성을 통해 두 단계로 테스트할 것입니다. 이 프로젝트는 로컬 모델이 MCP 감지 서버를 대상으로 작동하며 같은 머신에서 Splunk와 상관관계를 분석합니다.

먼저 정상적인 작업을 부여하고, 그 안에 숨겨진 명령이 담긴 파일과 읽기 전용으로 제한된 도구를 제공한 다음, 에이전트가 결정하는 호출 체인을 관찰할 것입니다.

그다음에는 이 호출 로그를 살펴보고 어떤 도구가 어떤 인자와 순서로 사용되었는지 확인할 것입니다. 왜냐하면 최종 결과는 무해해 보여도 의도는 순서에서 보이기 때문입니다.

지금 다르게 할 것은 브레이크를 에이전트 바깥으로 옮기는 것입니다.

신중함을 요구하는 프롬프트는 저에게 통제가 아니라 제안입니다.

통제란 인터넷 연결을 열지 못하게 하는 권한과, 호출이 실행되기 전에 기록하는 로그입니다.

결론

에이전트는 나쁜 것이 아니었습니다. 기대되는 대로 작동했고, 읽고, 해독하고, 우리가 시킨 것을 따랐습니다.

유용한 도구와 유출 벡터의 차이는 우리가 부여하는 권한과 남기는 기록에 있습니다.

여기에까지 읽으셨다면... 반응하고 공유해 주세요 -> "AI 시대의 보안과 방어는 사용하는 모두의 문제입니다." 그렇지 않나요?