소스 스캐너는 코드에 작성된 개인정보(PII) — 하드코딩된 이메일이나 문자열 리터럴(string literal) 내의 API 키 등을 잡아냅니다. 하지만 LLM 애플리케이션은 스캐너가 들여다볼 수 없는 곳에서 데이터를 유출합니다. 바로 추론(inference) 시점에, 모델이 컨텍스트(context)나 검색(retrieval)을 통해 전달받은 민감한 데이터 조각을 출력할 때입니다. 이 문자열은 애초에 여러분의 소스 코드에 존재하지 않았던 것입니다. BrassCoders는 소스를 스캔하지만, 모델이 무엇을 반환할지를 제어하는 것은 런타임 제어(runtime control)이며, 이 두 계층이 정확히 어디서 나뉘는지 아는 것은 매우 중요합니다.

여러분이 상상하는 유출과 실제로 발생하는 유출은 서로 다른 계층에서 일어나며, 이 둘을 혼동하는 도구는 명확성이 가장 필요한 시점에 잘못된 확신을 줄 수 있습니다.

스캐너가 잡아내는 것 vs 모델이 출력하는 것

BrassCoders는 소스 내에 존재하는 PII와 비밀 정보(secrets)를 표시합니다. 설정 파일의 자격 증명(credential), 테스트 픽스처(test fixture)의 고객 이메일, 키처럼 분석되는 높은 엔트로피(high-entropy)의 문자열 등이 이에 해당합니다. 이것들은 구조적이며, 모든 스캔에서 동일한 방식으로 포착됩니다. LLM 애플리케이션의 유출은 다른 사건입니다. 모델이 런타임에 민감한 데이터를 수신하고 이를 응답에 포함하는 것이며, 해당 데이터는 여러분의 코드에 리터럴(literal)로 존재하지 않았던 것입니다.

고객 데이터베이스에 접근 권한이 있는 고객 지원 봇을 상상해 보십시오. 이 봇이 잘못된 사용자에게 공개한 계좌 번호는 어디에도 하드코딩되어 있지 않습니다. 그것은 검색(retrieval) 단계를 통해 흘러 들어와 모델의 답변을 통해 다시 흘러 나간 것입니다. 전체 저장소(repository)를 스캔해도 아무것도 발견되지 않을 것입니다. 왜냐하면 찾을 수 있는 것이 없기 때문입니다. 정보 공개는 여러분이 작성한 코드의 문제가 아니라, 모델이 무엇을 접하고 반환할 수 있도록 허용되었는가의 속성입니다.

유출이 코드에 있지 않은 이유

BrassCoders는 정적 소스(static source)를 읽지만, 추론 시점의 정보 공개는 정적인 형태를 띠지 않습니다. 모델은 시스템 프롬프트(system prompt), 대화 내용, 검색 단계에서 가져온 문서 등 컨텍스트 윈도우(context window)로부터 각 응답을 구성하며, 해당 컨텍스트 내의 모든 민감한 값은 출력물에 나타날 수 있습니다. 민감한 문자열은 _시스템을 통해 흐르는 데이터(data flowing through the system)_이지, 저장소에 커밋된 산출물(artifact)이 아닙니다.

OWASP는 이를 LLM 애플리케이션 Top 10 중 LLM06, 민감 정보 유출 (sensitive information disclosure)로 분류합니다. 이 취약점은 모델이 사용자가 봐서는 안 되는 데이터, 즉 다른 테넌트(tenant)의 기록, 시스템 프롬프트(system prompt) 내의 비밀 정보, 검색된 문서의 개인정보(PII) 등을 반환할 때 발생합니다. 이 중 어느 것도 코드상의 패턴이 아닙니다. 이 모든 것은 모델이 접근할 수 있는 범위와 모델이 말할 수 있도록 허용된 범위에 따른 런타임 속성(runtime property)입니다.

프롬프트 인젝션(Prompt Injection)과의 관계

BrassCoders는 이를 프롬프트 인젝션 (prompt injection)과 동일한 범주로 분류합니다. 두 가지 모두 소스 코드의 패턴이 아니라 모델에 대한 런타임 공격이며, 종종 연쇄적으로 발생합니다. 프롬프트 인젝션이 공격자가 모델을 조종하는 방식이라면, 민감 정보 유출은 모델이 조종당한 후 빈번하게 발생하는 유출 대상입니다.

이러한 조합 때문에 두 가지 모두 스캐닝(scanning)의 문제가 아닙니다. 주입된 지시문은 모델에게 비밀 정보를 읽어 어딘가로 보내라고 명령하며, 비밀 정보는 출력 채널(output channel)을 통해 빠져나갑니다. 소스 스캔(source scan)은 주입된 지시문(런타임에 신뢰할 수 없는 콘텐츠를 통해 전달됨)도, 유출(추론(inference) 시점에 발생함)도 감지할 수 없습니다. 전체 교환 과정은 패턴 스캐너가 도달할 수 있는 계층보다 상위 계층에서 이루어집니다.

통제 수단(Controls)의 위치

런타임 유출을 막는 통제 수단은 바로 런타임 통제(runtime controls)입니다. 출력 필터링(Output filtering)과 데이터 유출 방지(DLP)는 모델이 사용자에게 도달하기 전에 반환 내용을 검사하여 민감한 필드를 수정(redact)하거나 차단합니다. 검색(retrieval) 시 최소 권한 접근(Least-privilege access)을 적용하면 모델이 접근할 권한이 없는 기록을 가져오는 것을 방지할 수 있습니다. 컨텍스트 최소화(Context minimization)는 애초에 프롬프트에 민감한 값이 포함되지 않도록 하여, 완성(completion) 과정에서 해당 정보가 드러나지 않게 합니다.

이러한 요소들은 각각 실행 중인 시스템(running system)의 추론(inference) 단계, 즉 데이터 경로(data path)에서 작동합니다. 커밋된 소스(committed source)에 대한 정적 스캔(static scan)은 이 중 어느 것도 가시성을 확보할 수 없으며, 이들을 설정하는 것이 실제로 노출을 차단하는 작업입니다. 런타임 유출(runtime leakage)을 방지한다고 주장하는 스캐너가 있다면, 그것은 관찰한 적도 없는 런타임 속성(runtime property)을 추론하고 있는 것입니다.

BrassCoders가 다루는 범위

BrassCoders는 데이터 처리의 소스 측면(source side)을 담당합니다: 코드에 작성된 개인정보(PII) 패턴, 하드코딩된 비밀값(hardcoded secrets), 문자열 리터럴(string literals) 내의 자격 증명(credentials), 그리고 모든 스캔에서 결정론적으로 플래그가 지정되는 고엔트로피(high-entropy) 값들이 그 대상입니다. 이 계층은 실재하며 구조적입니다. 그리고 AI 어시스턴트(AI assistants)는 완성(completion) 과정에서 키(key)나 이메일을 붙여넣음으로써 이 계층을 정기적으로 채우곤 합니다.

이 두 계층은 상호 보완적입니다. BrassCoders는 소스에 포함된 비밀값과 개인정보(PII)를 제거하며, 런타임 필터링(runtime filtering)은 모델이 추론(inference) 시에 무엇을 공개할지를 제어합니다. 스캔을 실행하여 민감한 정보가 코드에 포함되지 않도록 하고, 출력 거버넌스(output governance)를 설정하여 민감한 정보가 응답에 포함되지 않도록 하십시오.

pip install brasscoders
brasscoders --offline scan /path/to/your/project

스캔은 소스 내의 비밀값을 잡아냅니다. 모델이 런타임에 유출하는 데이터는 출력 계층(output layer)의 역할이며, 신뢰할 만한 도구는 이 계층들이 실제로 만나는 지점에서 선을 긋습니다.