Blog

min read

GitHub Copilot 및 Cursor의 새로운 취약점: 해커가 코드 에이전트를 무기화하는 방법

요약

Pillar Security 연구원들은 우리가 **"Rules File Backdoor"**라고 명명한 위험한 새로운 공급망 공격 벡터를 발견했습니다. 이 기법은 전 세계 최고의 AI 기반 코드 에디터인 Cursor와 GitHub Copilot에서 사용되는 겉보기에 무해한 설정 파일에 숨겨진 악성 명령을 주입함으로써, 해커가 AI가 생성한 코드를 조용히 손상시킬 수 있게 합니다.

위협 행위자들은 모델이 인식하는 명령어 페이로드 내의 숨겨진 유니코드 문자 및 정교한 회피 기법을 악용하여, 일반적인 코드 검토를 우회하는 악성 코드를 AI가 삽입하도록 조작할 수 있습니다. 이 공격은 개발자와 보안 팀에게 거의 눈에 띄지 않아, 악성 코드가 프로젝트 전반에 걸쳐 조용히 확산되도록 허용합니다.

특정 취약점을 목표로 하는 전통적인 코드 주입 공격과 달리, "Rules File Backdoor"는 AI 자체를 공격 벡터로 무기화함으로써 중대한 위험을 나타냅니다. 이는 개발자가 가장 신뢰하는 조수마저도 의도치 않은 공범으로 만들어, 손상된 소프트웨어를 통해 수백만 명의 최종 사용자에게 영향을 미칠 잠재력을 가집니다.

핵심 인프라로서의 AI 코딩 어시스턴트

2024년 GitHub 설문조사에 따르면, 거의 모든 엔터프라이즈 개발자(97%)가 생성형 AI 코딩 도구를 사용하고 있는 것으로 나타났습니다. 이 도구들은 실험적인 신기한 것에서 임무에 필수적인 개발 인프라로 빠르게 진화했으며, 전 세계 팀들이 코딩 작업을 가속화하기 위해 매일 의존하고 있습니다.

이러한 광범위한 채택은 상당한 공격 표면을 만듭니다. 이러한 AI 어시스턴트가 개발 워크플로우에 필수적인 부분이 되면서, 소프트웨어 공급망에 대규모로 취약점을 주입하려는 정교한 위협 행위자들에게 매력적인 목표물이 됩니다.

새로운 공격 벡터로서의 Rules File

AI 설정 정보를 개발팀이 공유하는 방식을 조사하던 중, 저희 보안 연구원들은 AI 코딩 어시스턴트가 규칙 파일(rule files)에 포함된 문맥적 정보(contextual information)를 처리하는 방식에서 심각한 취약점을 발견했습니다.

규칙 파일이란 무엇인가요? (What is a Rules File?)

규칙 파일은 코드를 생성하거나 수정할 때 AI 에이전트의 동작을 안내하는 설정 파일입니다. 이 파일들은 코딩 표준, 프로젝트 아키텍처, 그리고 모범 사례를 정의합니다. 이러한 파일들의 특징은 다음과 같습니다:

• 광범위하게 공유됨 (Shared broadly): 팀 전체 또는 전역 접근 권한을 가진 중앙 저장소에 보관됩니다.
• 널리 채택됨 (Widely adopted): 오픈 소스 커뮤니티와 공개 저장소를 통해 배포됩니다.
• 암묵적으로 신뢰됨 (Trusted implicitly): 보안 검토를 우회하는 무해한 설정 데이터로 인식됩니다.
• 거의 검증되지 않음 (Rarely validated): 적절한 보안 검증 없이 프로젝트에 통합되는 경우가 많습니다.

여기 Cursor 문서에서 가져온 규칙 파일 예시가 있습니다:

개인이 파일을 직접 생성하는 것 외에도, 개발자들은 다음과 같은 오픈 소스 커뮤니티와 프로젝트에서도 이러한 파일을 찾을 수 있습니다:

연구 과정에서, 이 공유 저장소에 새로운 규칙을 업로드하는 검토 프로세스 자체도 취약하다는 것을 발견했습니다. GitHub 플랫폼의 풀 리퀘스트 승인 과정에서는 숨겨진 유니코드 문자(hidden unicode chars)가 눈에 보이지 않게 나타나기 때문입니다.

공격 메커니즘 (The Attack Mechanism)

저희 연구는 공격자들이 겉보기에는 무해한 규칙 파일 내부에 신중하게 제작된 프롬프트(prompt)를 삽입함으로써 AI의 문맥적 이해도를 악용할 수 있음을 보여줍니다. 개발자가 코드 생성을 시작하면, 오염된 규칙은 미묘하게 AI에게 보안 취약점이나 백도어(backdoors)가 포함된 코드를 생성하도록 영향을 줍니다.

이 공격은 여러 기술적 메커니즘을 활용합니다:

맥락 조작 (Contextual Manipulation): 합법적으로 보이는 지침을 삽입하여 AI가 코드 생성 동작을 수정하도록 유도하는 방식
유니코드 난독화 (Unicode Obfuscation): 제로 너비 연결자(zero-width joiners), 양방향 텍스트 마커 등 눈에 보이지 않는 문자를 사용하여 악성 지침을 숨기는 행위
의미론적 탈취 (Semantic Hijacking): 미묘한 언어 패턴을 통해 AI의 자연어 이해 능력을 악용하여 코드 생성을 취약한 구현 쪽으로 방향 전환시키는 방식
크로스-에이전트 취약점 (Cross-Agent Vulnerability): 이 공격은 여러 AI 코딩 어시스턴트 전반에서 작동하며, 시스템적인 취약점을 시사함.

“규칙 파일 백도어 (Rules Files Backdoor)”가 특히 위험한 이유는 그 지속성 때문입니다. 일단 오염된 규칙 파일이 프로젝트 저장소에 통합되면, 팀원들의 모든 향후 코드 생성 세션에 영향을 미칩니다. 더욱이, 악성 지침은 종종 프로젝트 포크(forking)를 거쳐도 생존하여, 다운스트림 의존성과 최종 사용자에게 영향을 줄 수 있는 공급망 공격의 벡터(vector)를 만듭니다.

실제 사례 시연: Cursor에서 AI 생성 코드 손상시키기

Cursor의 “AI 규칙 (Rules for AI)” 기능은 개발자가 코드 생성을 안내하는 프로젝트별 지침을 만들 수 있게 합니다. 이 규칙들은 일반적으로 프로젝트 내 .cursor/rules 디렉토리에 저장됩니다.

공격이 작동하는 방식은 다음과 같습니다:

1단계: 악성 규칙 파일 생성

저희는 인간 검토자에게는 무해해 보이는 규칙 파일을 만들었습니다:

하지만 실제 내용은 악성 지침을 숨긴 눈에 보이지 않는 유니코드 문자를 포함하고 있습니다:

2단계: HTML 파일 생성

저희는 간단한 프롬프트(

이 공격이 특히 위험한 이유는 AI 어시스턴트가 개발자에게 응답할 때 스크립트 태그(script tag) 추가에 대해 전혀 언급하지 않는다는 점입니다. 악성 코드는 채팅 기록이나 보안팀의 경고를 유발할 수 있는 코딩 로그에 흔적을 남기지 않고 코드베이스 전체에 조용히 전파됩니다.

****

페이로드 분석 (Payload Breakdown)

공격 페이로드는 여러 가지 정교한 구성 요소를 포함하고 있습니다.

각 부분을 살펴보고 어떻게 작동하는지 설명하겠습니다:

• 눈에 보이지 않는 유니코드 문자 (Invisible Unicode Characters): 이 방법은 전체 공격 페이로드를 인간 검토자에게는 감지되지 않지만 AI 모델에게는 완전히 읽을 수 있는 텍스트 형식으로 인코딩합니다. 이 기술은 모든 '인간 개입형(human-in-the-loop)' 보호 조치를 우회합니다.**** 탈옥 스토리텔링 (Jailbreak Storytelling): 페이로드는 악의적인 행동을 보안 요구 사항으로 구성하여 AI 윤리 제약 조건을 회피하기 위해 서사 구조를 사용합니다******로그 숨기기 및 개발자 조작 (Hide logs and Manipulate the Developer): 이 지침은 AI에게 응답에서 코드 변경 내용을 언급하지 않도록 명시적으로 명령하며, 이는 개발자의 의심을 살 수 있는 코딩 에이전트 채팅 창의 로그를 제거하기 위함입니다.

이러한 구성 요소들이 결합하여 생성 및 검토 단계 모두에서 탐지되지 않는 매우 효과적인 공격을 만듭니다.

아래 비디오는 조작된 지침 파일을 통해 AI가 생성한 파일이 어떻게 오염될 수 있는지 실제 환경에서 이 공격을 시연합니다.

Cursor 데모 (Cursor Demonstration)

실제 사례 시연: GitHub Copilot의 AI 생성 코드 손상시키기 (Real-World Demonstration: Compromising AI-Generated Code in GitHub Copilot)

다음 비디오는 GitHub Copilot 환경 내에서 동일한 공격 흐름을 보여주며, AI 지원을 사용하는 개발자가 어떻게 손상될 수 있는지 보여줍니다.

Github Copilot 데모 (Github Copilot Demonstration)

광범위한 영향 (Wide-Ranging Implications)

'규칙 파일 백도어(Rules File Backdoor)' 공격은 여러 위험한 방식으로 나타날 수 있습니다:

• 보안 제어 무력화(Overriding Security Controls): 주입된 악성 지침은 안전한 기본 설정을 무시하고, AI가 보안 검사를 우회하거나 취약한 구조를 포함하는 코드를 생성하도록 유발할 수 있습니다. 위 예시에서처럼, 겉보기에는 무해한 HTML 모범 사례 규칙이 잠재적으로 악성인 스크립트 태그를 삽입하는 데 사용되었습니다. -
  취약 코드 생성(Generating Vulnerable Code): 공격자는 AI에게 백도어 또는 안전하지 않은 관행을 통합하도록 지시함으로써, 내장된 취약점을 가진 코드를 출력하게 할 수 있습니다. 예를 들어, 악성 규칙은 AI에게 다음을 하도록 지시할 수 있습니다:
• 안전하지 않은 암호화 알고리즘 선호
• 미묘한 우회(bypass)가 포함된 인증 확인 구현
• 특정 컨텍스트에서 입력 유효성 검사 비활성화

데이터 유출(Data Exfiltration): 잘 만들어진 악성 규칙은 민감한 정보를 유출하는 코드를 추가하도록 AI를 지시할 수 있습니다. 예를 들어, AI에게

완화 전략 (Mitigation Strategies)

이러한 위험을 완화하기 위해 다음 기술적 대응책을 권장합니다:

기존 규칙 감사 (Audit Existing Rules): 저장소의 모든 규칙 파일을 검토하여 잠재적인 악성 지침, 특히 눈에 보이지 않는 유니코드 문자나 특이한 형식 지정에 초점을 맞추십시오.
검증 프로세스 구현 (Implement Validation Processes): AI 설정 파일 전용 검토 절차를 수립하고, 이를 실행 가능한 코드와 동일한 수준의 엄격함으로 취급하십시오.
탐지 도구 배포 (Deploy Detection Tools): 규칙 파일에서 의심스러운 패턴을 식별하고, 위변조 지표(indicators of compromise)가 있는지 AI 생성 코드를 모니터링할 수 있는 도구를 구현하십시오.
AI 생성 코드 검토 (Review AI-Generated Code): 외부 리소스 참조, 특이한 임포트 구문, 또는 복잡한 표현식과 같은 예상치 못한 추가 사항에 특별히 주의를 기울이십시오.

책임 있는 공개 (Responsible Disclosure)

Cursor

2025년 2월 26일: Cursor에 대한 초기 책임 있는 공개
2025년 2월 27일: Cursor는 해당 문제를 조사하고 있다고 회신함
2025년 3월 6일: Cursor는 이 위험이 사용자 책임에 속한다고 판단하며 회신함
2025년 3월 7일: Pillar가 취약점 영향에 대한 더 자세한 정보와 시연을 제공함
2025년 3월 8일: Cursor는 자신들의 측면에서는 취약점이 아니라고 밝히며 초기 입장을 유지함

GitHub

2025년 3월 12일: GitHub에 대한 초기 책임 있는 공개
2025년 3월 12일: GitHub는 사용자가 GitHub Copilot이 생성한 제안을 검토하고 수락할 책임이 있다고 판단하며 회신함
2025년 5월 1일: Pillar의 연구에 따라, GitHub는 github.com에서 파일 내용에 숨겨진 유니코드 텍스트가 포함된 경우 경고를 표시하는 새로운 보안 기능을 구현함.

위와 같은 답변들은 이러한 새로운 유형의 공격을 AI 코딩 공급업체의 책임 영역 밖에 두는데, 이는 소프트웨어 개발 수명 주기(software development lifecycle) 내에서 그 결과물에 대한 의존도가 높아지는 상황을 고려할 때, AI 코딩 도구의 보안 영향과 이들이 나타내는 확장된 공격 표면(expanded attack surface)에 대한 대중 인식이 중요하다는 점을 강조합니다.

결론

‘규칙 파일 백도어(Rules File Backdoor)’ 기법은 공급망 공격(supply chain attacks)에서 중요한 진화를 보여줍니다. 특정 취약점을 악용하는 전통적인 코드 주입(code injection)과 달리, 이 접근 방식은 AI 자체를 무기화하여 개발자가 가장 신뢰하는 조수(assistant)를 의도치 않은 공범으로 만듭니다.