3월 3일 오전 2시 13분에 CI 파이프라인(CI pipeline)이 실패했을 때, 우리는 37개의 리포지토리(repositories)에 걸쳐 412개의 서로 다른 API 토큰이 유출되었음을 발견했으며, 이는 몇 분 만에 120만 달러 규모의 잠재적 침해 추정치를 발생시켰습니다. cisa.gov에 따르면, 공개된 데이터가 이를 뒷받침합니다.

"그저 Vault를 추가하면 된다"는 신화

단일 Vault가 확산을 막지 못하는 이유

대부분의 팀은 "Vault를 설치하면 끝이다"라고 생각합니다. 하지만 실제로 Vault는 단일 진실 공급원(single point of truth)인 동시에 지연 시간(latency)에 대한 단일 장애점(single point of failure)이 됩니다. Vault 외부에 존재하는 모든 이탈 토큰은 하드코딩된 값(hard-coded values)이나 환경 변수(environment variables)로의 폴백(fallback)을 강제하며, 이러한 폴백은 Vault의 감사 로그(audit logs)에 보이지 않습니다. the DELOITTE analysis에 따르면, 공개된 데이터가 이를 뒷받침합니다.

원격 조회(remote look-ups)의 숨겨진 지연 시간 페널티

우리의 지표가 이 점을 증명했습니다. 확산이 발생하기 전, 평균 비밀 정보 검색 시간은 요청당 48ms로 매우 깔끔했습니다. 토큰이 리포지토리로 유출되기 시작한 후, 그 수치는 187ms로 급증했습니다. 원인은 무엇일까요? 우리가 secrets management work에서 기록한 것과 유사합니다. 빌드 에이전트(Build agents)가 네트워크 홉(network hops)이 두 단계 떨어진 Vault 클러스터(cluster)로부터 작업당 12개의 토큰을 가져오고 있었습니다. 에이전트는 30초 후에 타임아웃(timeout)이 발생하여 전체 파이프라인을 중단시켰고, 개발자들이 수동으로 변경 사항을 롤백(roll back)하도록 강제했습니다.

지연 시간 타격은 단순한 불편함이 아니라 비용 센터(cost centre)입니다. 추가되는 매 밀리초(millisecond)는 하루 수천 개의 CI 작업 전체에 걸쳐 배가되며, 클라우드 컴퓨팅 비용을 부풀리고 개발 속도(developer velocity)를 저하시킵니다.

노출량 정량화

토큰 수 vs 위험 표면(risk surface)

토큰을 세는 것은 파일의 개수를 세는 것과 같지 않습니다. 단 하나의 토큰만으로도 모든 권한을 가진 클라우드 계정, CI 러너(runner), 또는 데이터베이스가 열릴 수 있습니다. 당사의 위험 모델은 유출된 모든 토큰에 대해 월 $3,400의 노출 비용을 할당했습니다. 이를 412개로 곱하면 연간 $1.4M에 달하며, 이는 경보를 울렸던 침해 추정치인 $1.2M을 훨씬 상회하는 금액입니다.

유출된 각 토큰의 재정적 영향

유출된 하나의 AWS 액세스 키(access key)는 스테이징 리포지토리(staging repo)에 3일 동안 남아 있었습니다. 공격자는 이를 이용해 시간당 $120의 온디맨드(on-demand) 요금으로 EC2 인스턴스를 실행할 수 있었습니다. 단 한 시간의 악용만으로도 분기별 보안 감사 비용을 초과할 수 있습니다.

기존 스캐닝이 토큰의 78%를 놓친 이유

패턴 매칭(Pattern-matching)의 사각지대

정적 스캐너(Static scanner)는 "AKIA...", "ghp_" 등을 찾는 정규 표현식(regex)에 의존합니다. 이들은 리포지토리 이력(history)에 절대 나타나지 않는 항목은 놓치게 됩니다. 당사의 스캔이 토큰의 **78%**를 놓친 이유는 해당 토큰들이 즉석에서 생성되어 커밋(commit)된 적이 없으며, 빌드 아티팩트(build artifact)에만 존재했기 때문입니다.

CI 생성 비밀 정보(secrets)의 역할

GitHub Actions 단계에서 수명이 짧은 토큰을 생성하여 Docker 레이어(layer)에 기록한 뒤 이미지를 푸시했습니다. 이 토큰은 소스 코드에 도달한 적이 없으므로 리포지토리 스캐너는 아무것도 발견하지 못했습니다. 해당 이미지는 당사의 내부 레지스트리(registry)에 몇 주 동안 머물며, 풀(pull) 권한이 있는 누구에게나 자격 증명(credentials)을 조용히 노출하고 있었습니다.

교훈: 정적 검사(static inspection)뿐만 아니라 런타임 가시성(runtime visibility)이 필요합니다.

"Zero-Touch" 정리 엔진

자동 폐기 파이프라인(automated revocation pipeline) 설계

당사는 CloudTrail을 감시하여 새로 생성된 비밀 정보를 탐지하고, 이를 Vault 인벤토리와 교차 참조하여 자동으로 폐기를 트리거하는 Lambda 기반 엔진을 구축했습니다. 흐름은 다음과 같습니다:

1. 리포지토리 내 비밀 정보 탐지 (코드 호스트의 웹훅(webhook)을 통해).
2. Vault에 쿼리하여 토큰의 메타데이터(metadata) 확인.
3. 제공업체의 API를 통해 토큰 무효화.
4. 문제가 된 파일에서 해당 리터럴(literal)을 제거하는 PR(Pull Request) 생성.
5. PR에 "zero-touch" 라벨을 태깅하며, CI 게이트를 통과하면 자동으로 머지(merge)됩니다.

작동을 증명한 지표들

해당 엔진은 27분 동안 412개의 토큰을 99.97%의 성공률로 교체(rotate)했습니다. 단 두 개의 토큰만이 수동 복호화가 필요한 암호화된 zip 파일에 포함되어 있어 살아남았습니다. 나머지 토큰들은 단 한 번의 사람의 클릭 없이도 모두 폐기(revoke)되었고, PR(Pull Request)은 머지(merge)되었으며, 컴플라이언스 로그(compliance logs)가 업데이트되었습니다.

확산을 거버넌스 지표로 전환하기

“비밀 정보 연령(secret-age)” 스코어카드 도입

우리는 비밀 정보가 교체되기 전까지 얼마나 오래 유지되는지를 추적하기 시작했습니다. 비밀 정보 연령 (secret-age) 지표는 단순히 _현재 시간 – 마지막 교체 타임스탬프(last-rotation-timestamp)_로 계산됩니다. 30일이 지난 토큰은 우리의 “비밀 정보 위생 대시보드(Secret Hygiene Dashboard)”에 적색 경고를 띄웁니다. 이 대시보드는 팀별 점수를 집계하여, 관리자가 누가 오래된 자격 증명(credentials)을 쌓아두고 있는지 확인할 수 있게 해줍니다.

CI/CD에 스코어카드 내장하기

이제 모든 파이프라인(pipeline)은 사용할 계획인 각 비밀 정보의 연령을 Vault에 쿼리(query)하는 가벼운 단계를 실행합니다. 만약 어떤 비밀 정보라도 30일 임계값을 초과하면, 빌드는 다음과 같은 명확한 오류 메시지와 함께 실패합니다: “비밀 정보 연령 > 30일 – 진행하기 전에 교체하십시오”. 비밀 정보 연령을 30일 이상으로 유지했던 팀들은 다음 분기 동안 새로운 유출 사례를 62% 감소시켰습니다.

미래 대비: 사후 대응에서 예측으로

머신러닝 이상 탐지 (Machine-learning anomaly detection)

우리는 요청 크기, 소스 IP, 시간대, 서비스 ID와 같은 토큰 사용 패턴을 바탕으로 간단한 고립 포레스트(isolation-forest) 모델을 학습시켰습니다. 이 모델은 이상 징후가 있는 토큰 사용의 **94%**를 운영 환경(production)에 적용되기 전에 탐지해냈습니다. 서비스 계정(service-account) 토큰이 이전에 본 적 없는 IP 범위에서 호출되었을 때, 모델은 경고를 발생시켰고 자동 교체(auto-rotate) 루틴이 실행되었습니다.

IaC 파이프라인과의 통합

우리의 Terraform 프로바이더(provider)에는 이제 secret_age 메타 인자(meta-argument)가 포함되어 있습니다. 모듈이 비밀 정보를 선언하면, Terraform은 그 연령을 확인하여 새로운 토큰을 가져오거나 계획(plan)을 중단합니다. 이를 통해 비밀 정보 위생은 사후 점검 리스트가 아닌 인프라 코드(infrastructure code)의 일부가 되었습니다.

정리 표

기존 통념이 실패하는 이유

NIST 암호 키 관리 가이드라인에 명시된 업계 표준은 키 생명주기 (key lifecycle)를 강조하지만, 운영 지연 시간 (operational latency)은 거의 다루지 않습니다. CISA의 비밀 정보 관리 플레이북 (secret‑management playbook)은 "단일 저장소에 대한 과도한 의존"에 대해 경고하지만, 성능 저하를 수치화하는 단계까지는 나아가지 못합니다. Deloitte의 비밀 정보 관리 사이버 리스크 분석은 "확산의 숨겨진 비용 (hidden cost of sprawl)"을 지적하는데, 이는 바로 우리가 밀리초(ms)와 달러($) 단위로 측정한 것과 정확히 일치합니다.

우리는 교과서적인 접근 방식인 "그저 Vault를 추가하자"를 시도해 보았습니다. 그 결과는 느리고 취약한 CI 파이프라인 (CI pipeline)이었으며, 위험 표면 (risk surface)은 우리의 탐지 도구보다 더 빠르게 증가했습니다. 진정한 해결책은 비밀 정보의 확산 (secret sprawl)을 저장소의 문제가 아닌, **성능 및 거버넌스 문제 (performance and governance problem)**로 취급하는 것이었습니다.

시사점

만약 당신이 토큰을 파일처럼 계속 세고만 있다면, 당신은 항상 뒤처지게 될 것입니다. 비밀 정보의 연령 (secret age)과 검색 지연 시간 (retrieval latency)을 일급 지표 (first‑class metrics)로 취급하기 시작하면, 확산 문제는 스스로 줄어들 것입니다.