Python용 Google Agent Development Kit (ADK)의 GitHub 저장소에서 발견된 보안 취약점은 공개 AI 에이전트가 어떻게 승인되지 않은 고권한 자동화를 트리거할 수 있는지를 보여줍니다. 이러한 결함으로 인해 외부 기여자가 코드 리뷰를 조작하고 민감한 자격 증명(credentials)을 노출할 수 있었습니다. Google은 Pillar Security의 연구원들이 악용 가능성을 보고한 후 해당 문제들을 수정했습니다.

자동화된 저장소에서의 악용 경로

주요 위험은 외부 기여자의 풀 리퀘스트(pull requests)를 평가하도록 설계된 트리아지(triage) 에이전트와 관련이 있었습니다. 이 에이전트는 저장소 내에서 협업자(collaborator) 상태를 가진 특정 계정을 사용하여 작동했습니다. 연구원들은 악의적인 공격자가 풀 리퀘스트 내에 특정 지침을 삽입하여 에이전트를 속일 수 있음을 발견했습니다. 이러한 속임수는 에이전트가 신뢰할 수 있는 내부 사용자에게만 허용되는 워크플로(workflows)를 활성화하는 명령을 내리도록 강제했습니다.

이러한 워크플로가 활성화되면 지속적 통합(continuous integration) 환경 내에서 명령을 실행할 수 있게 됩니다. 관련 토큰이 코드를 직접 푸시(push)할 수는 없었지만, 이슈(issues)와 풀 리퀘스트(pull requests)를 수정할 수 있는 권한을 가지고 있었습니다. 공격자는 이러한 권한을 사용하여 유지 관리자(maintainers)가 작성한 댓글을 변경하거나 가짜 승인을 제출할 수 있었습니다. 이러한 활동은 위험한 풀 리퀘스트가 합법적이고 최종 병합(merging) 준비가 된 것처럼 보이게 하는 상황을 만들었습니다.

Pillar Security는 통제된 연구 환경 내에서 이 공격 체인(attack chain)을 성공적으로 입증했습니다. 인간 유지 관리자가 여전히 최종 병합 프로세스를 완료해야 했지만, 자동화된 기만 행위로 인해 악성 코드가 안전해 보이게 만들었습니다. Google은 이러한 발견에 대응하여 승인되지 않은 명령 트리거를 방지하기 위해 저장소의 보안 설정을 강화했습니다.

두 번째 공격 방법은 다른 유형의 에이전트를 사용하는 최신 워크플로 (workflows)에 집중했습니다. 이 시나리오에서 공격자는 공개 이슈 (public issue) 내부에 프롬프트 인젝션 (prompt injection)을 삽입할 수 있습니다. 이 인젝션은 분석 에이전트 (analysis agent)가 권한이 있는 인원에게만 제한되어야 하는 수정 워크플로 (fixing workflow)를 시작하도록 유도했습니다. 시스템이 에이전트의 권한을 표준 버전 관리 명령 (version control commands)으로 제한하려고 시도했음에도 불구하고, 연구진은 이러한 명령들이 여전히 승인되지 않은 코드를 실행할 수 있음을 증명했습니다.

두 번째 결함에 대한 시연 중에 연구진은 외부 서버로 개인 액세스 토큰 (personal access token)을 추출했습니다. 또한 워크플로 (workflow) 도중에 Google Cloud 서비스 계정 키 (service account key)에 접근할 수 있다는 사실도 발견했습니다. Google은 7월 초에 문제가 된 워크플로 (workflows)를 제거했음을 확인했으며, 그달 말에 두 번째 문제에 대한 수정을 완료했습니다. 이러한 사건들은 자동화된 시스템이 유익한 요청과 악의적인 인젝션 (injections)을 구별할 수 있는 문맥 (context)이 부족한 경우가 많다는 점을 상기시켜 줍니다.

에이전트 시스템 (agentic systems)에서의 권한 재정의

이번 발견은 보안 전문가들이 멀티 에이전트 환경 (multi-agent environments)을 바라봐야 하는 방식에 있어 중요한 변화를 나타냅니다. 전문가들은 핵심 문제가 단순히 결함의 존재 여부뿐만 아니라, 자연어 (natural language)를 통해 권한이 전달되는 방식에 있다고 제안합니다. 에이전트가 메시지에 따라 동작할 때, 해당 메시지는 권한 부여 체인 (authorization chain)의 일부가 됩니다. 이러한 변화는 복잡한 자동화 시스템에서 권한을 관리하는 새로운 접근 방식을 요구합니다.

보안 분석가들은 에이전트가 기본 도구 세트 (toolset)가 시사하는 것보다 더 많은 권한을 가지고 있다고 지적합니다. 에이전트의 진정한 권한에는 그 출력값이 영향을 미치거나 활성화할 수 있는 모든 상위 수준 시스템 (higher-level systems)이 포함됩니다. 만약 하위 수준 에이전트 (low-level agent)가 상위 수준 에이전트 (high-level agent)와 통신할 수 있다면, 그들 사이의 보안 경계는 종종 예상보다 더 취약합니다. 조직은 공개된 신뢰할 수 없는 데이터와 상호작용하는 에이전트에게 접근 권한을 부여하는 방식을 재고해야 합니다.

이러한 리스크의 심각성을 판단하려면 에이전트가 콘텐츠를 소비하는 방식을 자세히 살펴봐야 합니다. 보안 책임자들은 이메일, 지원 티켓(support tickets), 또는 풀 리퀘스트(pull requests)와 같은 외부 입력을 처리하는 에이전트가 무엇인지 식별해야 합니다. 그런 다음 해당 에이전트의 출력이 더 강력한 워크플로(workflows)를 트리거할 수 있는지 추적해야 합니다. 권한 없는 접근을 방지하기 위해서는 체인 내의 모든 ID(identity)와 도구의 최대 역량을 이해하는 것이 필수적입니다.

이러한 시스템의 복잡성으로 인해 표준 보안 도구들은 종종 부분적인 정보만을 제공합니다. 전형적인 ID 관리(identity management) 또는 애플리케이션 보안(application security) 소프트웨어는 개별 요소는 볼 수 있지만, 전체적인 위임 경로(delegation path)는 놓칠 수 있습니다. 단일 이벤트가 여러 에이전트에 걸쳐 일련의 동작을 트리거하여 숨겨진 권한 경로를 생성할 수 있기 때문입니다. 이러한 연결 관계를 매핑하는 것이 침해 사고 발생 시 실제로 어떤 일이 일어날 수 있는지 확인할 수 있는 유일한 방법입니다.

외부 데이터의 경로를 추적하는 것은 현대 보안 팀의 중요한 과제입니다. 보안 팀은 정보가 시스템에 들어오는 순간부터 하류(downstream) 동작이 발생할 때까지의 과정을 추적해야 합니다. 여기에는 플랫폼의 댓글과 같이 다른 프로세스의 트리거 역할을 할 수 있는 공유 상태(shared states)를 살펴보는 것도 포함됩니다. 방어자들에게 근본적인 질문은 권한이 낮은 에이전트가 권한이 더 높은 에이전트가 신뢰하는 무언가를 변경할 수 있는지 여부입니다.

인간 개입(human in the loop) 보안하기

인간의 감독은 종종 자동화 오류에 대한 최종 안전장치로 간주되지만, 완벽한 해결책은 아닙니다. Google 저장소(repository)의 사례를 보면, 여전히 사람이 병합(merge) 버튼을 클릭해야 했습니다. 하지만 조작된 AI 에이전트들은 인간에게 거짓 증거를 제공했습니다. 시스템이 코드가 다른 봇들에 의해 승인되고 검증되었다고 보여줄 때, 인간은 그 결과를 신뢰할 가능성이 훨씬 더 높습니다.

공격자가 사람을 속여 대신 코드를 병합(merge)하게 만들 수 있다면, 코드를 병합할 권한을 직접 가질 필요도 없습니다. 이것이 바로 전문가들이 승인(approval) 프로세스가 변경 불가능한 특정 코드 버전과 반드시 결합되어야 한다고 제안하는 이유입니다. 만약 검사(inspection) 이후에 코드가 아주 조금이라도 변경된다면, 이전의 모든 승인은 무효화되어야 합니다. 이를 통해 인간이 확인하는 결과물(artifact)이 실제 운영 환경(production environment)에 배포되는 것과 정확히 일치하도록 보장할 수 있습니다.

승인 프로세스를 강화하는 것 외에도, 조직은 리뷰(review)와 댓글(comment)의 변경 사항을 중요한 보안 이벤트(security event)로 취급해야 합니다. 이러한 작업들은 독립적인 로깅 시스템(logging system)에 기록되어야 합니다. 자동화된 워크플로(workflow)에서 사용되는 신원(identity)이 이러한 로그를 수정할 수 없도록 하는 것이 매우 중요합니다. 이를 통해 결정이 어떻게 내려졌는지, 그리고 누가 또는 무엇이 그 결정에 영향을 미쳤는지에 대한 영구적이고 변조 불가능한(tamper-proof) 기록을 생성할 수 있습니다.

자연어(natural language)를 자동화 도구로 사용하는 전환은 효율성과 새로운 유형의 위험을 동시에 가져옵니다. Google ADK의 이러한 결함은 신뢰(trust)가 AI 개발에서 주요한 취약점(vulnerability)임을 보여줍니다. 개발자들은 모든 메시지가 상위 수준의 프로세스에 영향을 미치기 전에, 그 출처(source)와 의도(intent)를 검증하는 시스템을 구축해야 합니다. 이러한 안전장치(safeguards)가 없다면, AI 자동화의 속도는 더 빠르고 성공적인 공격으로 이어질 뿐입니다.

더 많은 기업이 에이전트 기반 아키텍처(agent-based architectures)를 채택함에 따라, 이번 발견을 통해 얻은 교훈은 점점 더 중요해질 것입니다. 보안은 더 이상 단순히 비밀번호와 API 키를 보호하는 것에 그치지 않습니다. 이제는 시스템의 서로 다른 구성 요소 간의 대화(conversation)의 무결성(integrity)을 보호하는 것에 관한 것입니다. 정보의 흐름을 모니터링하고 에이전트(agent) 간의 엄격한 경계를 유지하는 것이 이러한 새로운 위협에 방어할 수 있는 주요 방법입니다.