앱이 인터넷에 노출하는 모델 엔드포인트에 대한 위협 모델링

사용자 요청마다 모델을 호출하는 분류기(classifier), 모더레이션 레이어, 또는 에이전트를 배포하고 계십니까? 해당 엔드포인트를 CRUD API와는 다른 악용 모델을 가진 머신러닝 표면으로 간주해야 합니다. Kris Lovejoy에 따르면 공격자들이 이전보다 더 빠르게 개별 취약점을 찾아내고, 낮은 심각도의 문제들을 높은 영향도의 경로로 연결할 수 있게 되었다고 주장합니다. 그녀는 또한 2026년 6월 에피소드에서 언급했듯이, 약 1년 반 안에 기업 네트워크를 대상으로 완전히 자율적인 AI 기반 공격이 발생할 것으로 예상합니다. 이러한 시간표가 맞는지 여부를 떠나 방향은 명확합니다. 공격 측면의 자동화 증가는 프로덕션 모델 호출에 지연 시간 예산(latency budget)과 더불어 위협 모델링을 필요로 한다는 것입니다.

저는 다섯 가지 공격으로 시작할 것을 제안합니다. 이 중 네 가지는 NIST가 적대적 머신러닝(adversarial machine learning)으로 분류하고, 나머지 하나는 OWASP 목록의 모델 서비스 거부(model denial of service)이며, 각각에 대해 Chain of Thought 용어집의 일반적인 정의를 사용하고 앱 팀이 소유할 수 있는 하나의 통제 방안을 제시합니다.

모델이 당신에게 도달하기 전에 누군가 오염시켰을까요?

백도어 공격 (backdoor attack)은 훈련 과정 중에 모델을 손상시켜 일반적인 입력에는 정상적으로 보이지만, 트리거(trigger)를 감지하면 동작이 바뀌게 만듭니다. 이 트리거는 구문, 패턴 또는 이미지의 작은 패치일 수 있습니다. 실패 모드가 조건부이기 때문에 깨끗한 정확도 테스트로는 이를 잡아낼 수 없습니다. 외부 위탁 훈련(Outsourced training), 제3자 가중치(third-party weights), 불투명한 미세 조정(opaque fine-tunes)은 이 위험의 공급망 버전입니다.

여러분의 통제 방안: 모든 기본 모델 아티팩트가 아닌 것(어댑터, LoRA 번들, 벤더 미세 조정 등)을 신뢰할 수 없는 코드처럼 취급하십시오. 출처를 고정하고, 누가 무엇으로 훈련했는지 문서화하며, 빌드를 승격하기 전에 트리거 스타일의 레드팀 프롬프트를 실행해야 합니다. 단순히 정상 경로(happy-path) 평가만으로는 '백도어'를 발견할 수 없습니다.

사용자들이 추론 시간(inference time)에 필터를 우회할 수 있을까요?

회피 공격(evasion attack)은 모델의 가중치(weights)를 변경하지 않습니다. 공격자는 모델이 차단해야 하는 입력(스팸, 사기, 정책 위반 콘텐츠 등)을 교란하여, 사람이 여전히 의도를 인식할 수 있음에도 불구하고 모델이 이를 잘못 분류하도록 만듭니다. NIST는 이를 적대적 예제(adversarial examples)와 연관시키며, LLM의 경우 탈옥(jailbreaking)이 같은 범주에 속합니다. 공격자는 종종 다른 모델로부터 전송하는 것을 포함하여 쿼리 접근만 필요로 합니다.

사용자의 통제 방안: 모델에 도달하기 전에 입력값을 정규화하고 제약합니다(길이 제한, 표준화(canonicalization), 가능한 경우 알려진 교란 패턴 차단). 또한, 모델이 경계 콘텐츠를 승인할 때 사람이 읽을 수 있는 감사 추적 기록(audit trail)을 유지해야 합니다. 적대적 훈련(Adversarial training)은 팀 전체의 문제입니다. 사용자의 역할은 모델에 단 하나의 취약한 게이트만 제공하여 백업 계획이 없도록 하는 것을 피하는 것입니다.

API가 응답 형태를 통해 학습 데이터를 유출할 수 있나요?

모델 역산 공격(model inversion attack)은 모델을 쿼리하고 출력을 분석함으로써 학습 데이터에 대한 정보를 재구성합니다. Fredrikson과 동료들은 예측과 함께 반환되는 신뢰도 점수만으로 민감한 속성이나 인식 가능한 얼굴을 복구할 수 있음을 보여주었습니다. 해결책 패턴은 더 적게 반환하는 것입니다.

사용자의 통제 방안: 공개 API의 기본값을 전체 확률 벡터나 풍부한 로그확률(logprobs) 대신 레이블 또는 거친 점수(coarse scores)로 설정합니다. 제품이 내부적으로 점수가 필요하다면, 더 엄격한 속도 제한과 로깅을 갖춘 별도의 인증된 경로에서 제공해야 합니다. 확률값을 반올림하거나 버킷팅하는 것은 지루하지만 효과적입니다.

공격자가 학습 세트에 누가 있었는지 알 수 있나요?

멤버십 추론 공격(Membership inference)은 모델이 훈련 과정에서 본 기록과 새로운 기록에 대해 보이는 행동 간의 격차를 악용합니다. 일부 영역에서는 멤버십 자체가 민감할 수 있습니다 (예: 특정 연구 참여 여부). Shokri와 동료들은 상업적 ML 서비스에 대한 이 공격을 시연했으며, Carlini와 동료들은 나중에 언어 모델이 질의 접근 하에서 훈련 스니펫(training snippets)을 그대로 토해낼 수 있음을 보여주었습니다.

귀하가 통제할 수 있는 것: 추론 계약(inference contract)을 축소하세요. 가능하다면 전체 분포 대신 top-1 또는 top-k 클래스를 반환하고, 사용자별 질의 예산(query budgets)을 추가하며, 유사한 기록들을 체계적으로 탐색하는 세션은 플래그를 지정하세요. 훈련 시간 정규화(Training-time regularization)와 차분 프라이버시(Differential privacy)는 상위 단계에 속합니다. 그럼에도 불구하고 귀하의 엔드포인트는 공격자에게 고정밀 손실 오라클(high-precision loss oracle)을 제공해서는 안 됩니다.

한 클라이언트가 GPU 예산이나 은행 계좌를 고갈시킬 수 있을까?

모델 서비스 거부(Model denial of service)는 전형적인 가용성 공격과 '지갑 탈취'(denial of wallet)를 포괄합니다. 이는 컴퓨팅 자원을 소모하거나 토큰당 지불하는 비용을 초래하는 무한정 추론(unbounded inference)을 의미합니다. OWASP의 LLM Top 10은 변동 길이 입력 플러드나 컨텍스트 창을 반복적으로 초과하는 입력을 포함하여 무제한 소비를 나열하고 있습니다. 여러 모델 및 도구 호출로 분산되는 에이전트 루프(Agent loops)는 동일한 비용 위험을 높입니다. 스펀지 스타일의 입력은 언어 모델에서 지연 시간(latency)과 에너지 사용량을 급증시킬 수 있습니다.

귀하가 통제할 수 있는 것: 모델 외부에서 예산을 강제하세요. 최대 입력 토큰, 최대 출력 토큰, 키별 속도 제한(rate limits per key), 큐 깊이 상한선(queue depth caps), 시간 초과(timeouts)를 설정하고, 에이전트의 경우 작업당 단계 및 도구 호출에 대한 하드 캡을 적용하세요. 5xx 오류율을 모니터링하는 방식대로 지출량과 지연 시간 이상 징후를 모니터링하세요.

왜 지금 이런 방식으로 구성해야 할까?

Lovejoy의 우려는 외부 행위자를 넘어섭니다. 에이전트 워크플로우(Agentic workflows)는 결과 중심적입니다. 선형적인 인간 프로세스를 위해 작성된 가드레일은 병렬 도구 사용을 놓칩니다. 유틸리티 접근 권한을 가진 내부자는 당신이 '왕관 보석'(crown jewels)에 최적화했기 때문에 낮은 위험으로 분류했던 취약점들을 연결하여 사용할 수 있습니다.

현재 우리가 알고 있는 것은 공격자들이 이전보다 훨씬 빠르게 개별 취약점을 찾아낼 수 있다는 것입니다. 따라서 우리는 탐지(detection)와 복구(remediation) 능력을 향상시켜야 합니다.

Kris Lovejoy, Kyndryl 글로벌 전략 책임자, Chain of Thought 에피소드 62에서 발췌

이제는 우리가 걱정하지 않았던 것들이 큰 문제가 되는 지점에 도달했습니다.

Kris Lovejoy, Kyndryl 글로벌 전략 책임자, Chain of Thought 에피소드 62에서 발췌

엔드포인트 위협 모델링(endpoint threat model)은 모델 구매를 짧은 표로 정리합니다: 공격 유형, 무엇이 유출되거나 손상되는지, 누가 통제권을 소유하는지. 트레이닝 팀은 데이터와 가중치(weights)를 소유하고; 사용자는 HTTP 계약(contract), 할당량(quotas), 그리고 로깅하는 내용에 대한 통제권을 갖습니다.

코드 형태의 표 예시:

# 스케치: 추론 경로(inference route)별 공격 클래스마다 한 행씩
THREATS = [
    ("backdoor", "운영 환경에서 트리거", "출처 증명 + 사전 운영 레드팀 테스트"),
...

체크리스트

• 모델을 호출하는 모든 경로(nested agent tool loops 및 메인 채팅 API 포함)를 목록화합니다.
• 각 경로에 대해 공격 클래스별로 한 줄씩 작성합니다: 자산, 공격자 목표, 사용자의 통제권, 소유자.
• 공개 응답은 제품이 필요한 최소 필드로만 축소하고; 풍부한 원격 측정(telemetry) 정보는 내부 경로에서만 제공합니다.
• 토큰, 단계, 지출 상한선(spend caps)을 프롬프트 지침보다는 게이트웨이에 설정합니다.
• 가중치를 교체하거나, 어댑터(adapter)를 추가하거나, 에이전트에게 새로운 도구(tool)를 노출할 때마다 이 표를 다시 실행합니다.

이 주제에 대한 더 많은 정보와 관련 에피소드는 Chain of Thought에서 확인할 수 있습니다. 여기는 이 에피소드를 참고했습니다.

에피소드 녹취록을 기반으로 AI의 도움을 받아 작성됨.