원래 CoreProse KB-incidents에 게시되었습니다.

Anthropic의 Mythos 프리뷰는 고위험 능력 클래스(capability class)에 집중했습니다: 소형 모델과 스캐폴딩(scaffolding)을 사용한 자율적 취약점 발견 및 익스플로잇 생성(exploit generation)입니다.[7] Mythos와 유사한 것을 제한된 프리뷰에서 공개 액세스로 전환하는 것은 일상적인 업그레이드가 아닙니다. 이는 우리가 프론티어 LLM(Large Language Models)을 어떻게 보안하고 거버넌스(governance)를 구축할 것인지에 대한 실전 테스트입니다.

엔지니어링 팀에게 이는 위협 기준선(threat baseline), 규제 압박, 그리고 안전성과 신뢰성에 대한 기대치를 높입니다.[8][10] 핵심 질문은 "API를 호출할 수 있는가?"에서 "적대자가 프론티어 도구를 사용하여 취약점 발견을 자동화할 때 우리가 안전하게 운영할 수 있는가?"로 전환됩니다.

💼 실무에서는: Mythos급의 모든 공개 출시를 단순한 모델 교체가 아닌, 아키텍처, 거버넌스 및 보안 변경을 요구하는 플랫폼 수준의 이벤트로 취급하십시오.

1. Mythos 프리뷰에서 공개 출시까지: 엔지니어에게 무엇이 변하는가?

Riegler와 Strümke의 swarm-attack 프레임워크는 공유 메모리(shared memory)와 진화 전략(evolutionary strategies)을 통해 협력하는 여러 경량 에이전트를 사용하여, 소비자용 하드웨어에서 낮은 비용으로 안전 장치를 우회하고 취약점을 찾아냅니다.[7] 이것이 바로 Mythos를 제한해야 했던 근거가 된 것과 동일한 능력 클래스입니다.[7]

그들의 실험은 1.2B 파라미터 에이전트 5개를 사용했으며, 각 에이전트는 GPT-4o와 Claude Sonnet 4를 상대로 225회의 시도를 수행했습니다:[7]

• GPT-4o: 유효 위해율(Effective Harm Rate) 45.8%, 49건의 치명적 침해 발생
• Claude Sonnet 4: 약 40%의 가드레일(guardrail) 우회율에도 불구하고 유효 위해율 0%

이것이 바로 공개적인 Mythos 스타일의 엔드포인트가 즉각적으로 직면하게 될 적대적 환경입니다.

Anthropic의 Claude 거버넌스는 NIST AI RMF(AI 위험 관리 프레임워크) 및 예상되는 EU AI Act(유럽 AI 법)의 의무 사항인 투명성, 체계적 위험 분석, 엄격한 벤치마크(benchmarks)와 일치합니다.[8] Mythos급 모델 또한 문서화된 평가 및 모니터링에 대해 유사한 기대를 받게 될 것입니다.

Seger 등은 고성능 모델을 오픈 소스(open-sourcing)로 공개하는 것이 감독과 탈중앙화를 가능하게 하지만, 강력한 능력이 오용을 위해 재사용될 수도 있다고 언급합니다.[10] 취약점 중심 시스템의 경우, 제한 없는 가중치(weights)는 특히 위험합니다.[10]

Mythos와 유사한 공개 API는 다음과 같은 요소들을 효과적으로 민주화합니다:[7]

• 자동화된 취약점 스캐닝(vuln scanning) 및 익스플로잇(exploit) 생성
• 체계적인 안전성 및 가드레일(guardrail) 우회 도구
• 고처리량 적대적 탐사(adversarial probing)

Riegler와 Strümke가 이미 소규모 오픈 모델과 스캐폴딩(scaffolding)을 통해 이를 달성하고 있으므로, 공개적인 프론티어(frontier) API는 단순히 해당 파이프라인에 연결될 뿐입니다.[7]

💡 시사점: 귀하의 스택이 프론티어 API를 사용하는 스웜(swarm) 스타일의 도구에 의해 공격받을 것이라고 가정하십시오. 시스템 수준에서 방어 체계를 설계해야 하며, Anthropic의 정렬(alignment)에만 의존해서는 안 됩니다.[7][8]

2. Mythos급 공개 모델을 위한 안전성, 레드팀(Red Teaming) 및 평가

Mythos급 출시에는 심층적이고 지속적인 적대적 테스트(adversarial testing)가 필요합니다.

Giskard는 실질적인 출시 전후 체크리스트를 구성하는 50개 이상의 적대적 프로브(adversarial probes)(탈옥(jailbreaks), 데이터 유출(data exfiltration), 프롬프트 인젝션(prompt injection), 도구 남용(tool abuse))를 나열합니다.[1] 그들의 StereoTales 연구는 23개의 프론티어 모델로부터 10개 언어로 65만 개 이상의 이야기를 생성했습니다; 모든 모델이 유해한 고정관념을 생성했습니다.[1] 강력하게 정렬된 시스템조차 대규모에서는 편향(bias)과 표현상의 위해(representational harms)를 방출합니다.[4] Mythos와 유사한 모델들은 이 부분에서 명시적으로 테스트되어야 합니다.

Furze의 프레임워크를 사용하면, 평가 축(evaluation axes)에는 다음이 포함되어야 합니다:[4]

• 표현 편향 (누가 가시적이거나 부재하는가)
• 고정관념 (인구 통계적 특성과 특성 간의 연결)
• 불균등한 위해 (누가 독성이나 오류를 부담하는가)

📊 구체적인 테스트 계획:[1][4]

• 다양한 언어와 인구 통계적 특성에 걸쳐 StereoTales 스타일의 개방형 프롬프트 (open-ended prompts) 실행. [1]
• 분류기 (classifiers) 또는 인간 패널을 통해 고정관념 (stereotypes) 점수를 매기고, 심각도와 유병률을 추적. [4]
• 도구 증강 작업 (tool-augmented tasks) (코드, 요약, 추천)에서 편향된 하류 작업 (downstream actions)이 발생하는지 테스트. [4]

보안 평가는 Tanner의 AI 보안 가이드와 OWASP LLM Top 10을 따라야 합니다. 팀들은 종종 프롬프트 인젝션 (prompt injection), 데이터 유출 (data leakage), 안전하지 않은 출력 처리 (insecure output handling), 그리고 과도한 권한을 가진 에이전트 (over-privileged agents) 문제를 놓치곤 합니다. [5] 최소한 다음 사항들을 테스트해야 합니다: [5]

• 지시문 하이재킹 (instruction hijacking) 및 컨텍스트 포이즈닝 (context poisoning)
• 학습 데이터 추론 (training data inference) 및 민감 정보 에코잉 (sensitive echoing)
• 과도한 도구 권한 (excessive tool permissions)
• 안전하지 않은 코드 또는 명령 생성 경로 (unsafe code or command generation paths)

Riegler과 Strümke는 자동화된 적대적 탐색 (automated adversarial search)의 가치를 보여줍니다. [7] 공유 메모리와 진화 전략 (evolutionary strategies)을 가진 소규모 에이전트 군집 (swarms)은 단순한 일회성 탈옥 (jailbreaks)뿐만 아니라, Mythos의 실패 모드 (failure modes)를 체계적으로 탐색할 수 있습니다. [7]

⚠️ CI/CD 통합: 지속적인 윤리 및 환경 교육을 강조하는 Furze의 호출은 지속적인 거버넌스 (continuous governance)와 일맥상통합니다. [4] AI 기능을 공개 API처럼 취급하라는 Tanner의 조언과 결합하면, 이는 다음을 의미합니다: [5]

• CI에 편향 조사 (bias probes), 안전 점검, 보안 테스트를 내장
• 모든 Mythos 업데이트 시 이를 재실행하고 안전성 또는 편향의 퇴보 (regressions)를 표시 [1][4]

3. 거버넌스, 오픈 소스 트레이드오프 및 정책 정렬

Priyanshu 등은 Claude를 NIST AI RMF에 매핑하며, 문서화된 위험 식별, 측정 및 완화를 강조합니다. [8] Mythos급 공개 모델의 경우 이는 다음을 의미합니다: [8]

• 명확한 의도된 용도 및 금지된 시나리오
• 안전성, 견고성 (robustness) 및 오용에 대한 정량적 지표
• 명시적인 완화 조치 및 에스컬레이션 (escalation) 절차

EU AI Act에 따라, 고위험 시스템 (high-risk systems)은 엄격한 데이터 거버넌스, 투명성 및 사후 시장 모니터링 규칙을 준수해야 합니다. [8] Mythos 기반의 보안 툴링이나 핵심 인프라 앱은 여기에 해당할 수 있으며, 다음을 요구합니다:

• 상세한 로깅 (logging) 및 사고 보고
• 영향력이 큰 결정에 대한 인간의 감독 (human oversight) [8]

Seger 등은 강력한 모델의 배포 선택지를 다음과 같이 개괄합니다:[10]

• 폐쇄형 API (Closed API) – 강력한 중앙 통제가 가능하지만, 플랫폼 사고의 영향은 여전히 존재함
• 제한적 가중치 공개 (Gated weights) – 라이선스를 통한 부분적 개방
• 완전 공개 가중치 (Fully open weights) – 투명성은 극대화되나, 특정 기능에 대한 오용 위험도 극대화됨[10]

AI 플랫폼 사고(OpenAI 결제 정보 노출, Google 채팅 인덱싱, Meta 모델 유출)에 대한 Sidorkin의 조사에 따르면, 폐쇄형 플랫폼조차 개인정보 보호 및 평판 리스크를 안고 있습니다.[9] Mythos급 역량은 유사한 유출 사고가 자동화된 취약점 공격 체인(exploit chains)으로 이어질 경우 피해를 증폭시킬 수 있습니다.[7][9]

Subramanian은 OpenAI의 접근 방식을 설명합니다: 완전 공개 가중치 대신 단계적 출시(staged rollouts), 기능 제한(feature gating), 그리고 윤리적 약속을 채택합니다.[3] Seger 등은 감사(audits), 통제된 접근(controlled access), 그리고 해석 가능성 도구(interpretability tools)를 통해 가장 위험한 모델을 공개하지 않고도 개방성의 많은 이점을 제공할 수 있다고 주장합니다.[10]

💼 Mythos 통합을 위한 기업 거버넌스 체크리스트:[7][8][9]

• 리스크 프레임워크 내에서 의도된 용도와 금지된 용도를 문서화하십시오.[8]
• 오용 사례(예: 취약점 공격 생성, 민감한 추론)를 분석하십시오.[7][8]
• 데이터 관행을 NIST AI RMF 및 EU AI Act 지침에 맞추십시오.[8][9]
• 영향력이 큰 작업에 대해 로깅(logging), 속도 제한(rate limits), 인간의 검토(human review)를 강제하십시오.

4. Mythos 스타일 시스템을 위한 프로덕션 아키텍처 및 운영

Bronsdon의 프로덕션 준비성(production-readiness) 연구에 따르면, 에이전트는 기본 모델의 성능 부족이 아니라 취약한 아키텍처, 숨겨진 의존성, 그리고 현실 세계 데이터의 무질서함 때문에 실패하는 경우가 많습니다.[2] 이러한 환경에서 Mythos급 모델은 이러한 실패를 증폭시킬 것입니다.[2]

Tanner의 AI 보안 패턴은 이와 직접적으로 관련이 있습니다:[5]

• LLM을 AI 게이트웨이(AI gateway) 뒤에 배치
• 신뢰할 수 없는 프롬프트를 도구(tools)와 분리
• 실행 전 출력값 검증 (구문, 정책, 안전성)
• 매니저와 단기 토큰(short-lived tokens)을 사용하여 비밀 정보(secrets) 보호

Subramanian은 Anthropic 배포 방식과 명확하게 매핑되는 세 가지 일반적인 기업 토폴로지(topologies)—직접 API(direct API), 프록시 서비스(proxy services), 하이브리드 온프레미스/클라우드(hybrid on‑prem/cloud)—를 설명합니다.[3] Mythos API는 일반적으로 다음을 통합하는 내부 게이트웨이(internal gateway) 뒤에 위치해야 합니다:[3][5]

• 인증(AuthN/AuthZ)
• 프롬프트/응답 필터링 (Prompt/response filtering)
• 비용 제어 및 스로틀링 (Cost controls and throttling)
• 통합 감사 로깅 (Unified audit logging)

Bronsdon은 "데모 신뢰성(demo reliability)"과 "운영 신뢰성(production reliability)"을 구분합니다.[2] Mythos급 워크로드(workloads)의 경우, 다음 항목에 대한 SLO(Service Level Objectives)를 정의해야 합니다:[2][5]

• 토큰 및 작업당 지연 시간 (Latency: 중앙값, p95)
• 에스컬레이션(escalation)되지 않은 성공적인 작업당 비용
• 환각(hallucinations), 안전하지 않은 출력, 보안 위반에 대한 오류 및 인시던트 예산 (Error and incident budgets)

Furze는 훈련, 특히 대규모 추론(inference)이 막대한 에너지 및 탄소 비용을 초래한다고 언급합니다.[4] 대량의 Mythos 사용은 모델 사용량을 모니터링하고 다음을 최적화할 것을 요구합니다:[4]

• 컨텍스트 길이 (Context length)
• 배치 처리 및 캐싱 (Batching and caching)
• 가능한 경우 더 작은 모델로의 작업 라우팅 (Task routing)

⚡ 런북 필수 요소 (Runbook essentials) (Tanner + Bronsdon):[2][5]

• Mythos 기반의 각 워크플로(workflow)에 대한 위협 모델 (Threat models)
• 탈옥(jailbreaks) 및 편향(bias)에 대한 회귀 테스트 스위트 (Regression suites)
• 프롬프트 주입(prompt injection) 및 비정상적인 도구 사용에 대한 로그 기반 탐지
• API에 접근하는 모든 서비스 및 사용자에 대한 정기적인 액세스 검토

5. 공급망, 플랫폼 보안 및 롱테일 리스크 (Supply Chain, Platform Security, and Long-Tail Risks)

Harush Kadouri는 공격자가 무기화된 릴리스(weaponized releases)를 포함하여 오픈 소스 코드와 AI 모델에 악성 구성 요소를 심는 방식을 기록합니다.[6] SDK, 래퍼(wrappers), 평가 도구(eval tools)로 구성된 Mythos 생태계는 이러한 공급망 공격 표면(attack surface)을 확장합니다.[6]

Sidorkin은 지금까지 AI 플랫폼의 피해가 대규모의 직접적인 재정적 손실보다는 개인정보 보호, 평판 및 운영 중단에 집중되어 있음을 발견했습니다.[9] 그러나 이러한 분석은 자율적인 취약점 발견(autonomous vuln discovery)이 널리 보급되기 이전의 것입니다.[7][9] Mythos와 유사한 API를 유출된 로그 또는 모델과 결합하면 공격(exploitation)을 가속화하고 정교화할 수 있습니다.

Giskard의 LLM 보안 도구와 Harush Kadouri의 실시간 익스플로잇 (exploit) 데모는 Mythos 배포에 대한 독립적인 제3자 테스트를 지원합니다. [1][6] 여기에는 다음 사항이 포함되어야 합니다: [1][6]

• Mythos 엔드포인트 (endpoints) 및 게이트웨이 (gateways)에 대한 침투 테스트 (Pen-testing)
• 다운로드된 가중치 (weights) 또는 파인튜닝 (finetunes)에 대한 무결성 검사
• AI 스택 내 오픈소스 의존성 (dependencies)에 대한 감사

Riegler와 Strümke는 스캐폴딩 (scaffolding)이 작은 모델을 강력한 공격자로 변모시키기 때문에, 정책이 모델뿐만 아니라 시스템도 목표로 해야 한다고 주장합니다. [7] 스캐폴딩을 사용했을 때 약 4분 만에 심어진 9개의 CWE를 100% 재현(recall)한 반면, 사용하지 않았을 때는 거의 0에 가까웠던 그들의 스웜 공격 (swarm-attack) 결과는 이 점을 입증합니다. [7] Anthropic의 베이스 모델 (base model)이 견고하더라도 속도 제한 (Rate limiting), 샌드박스화된 도구 (sandboxed tools), 그리고 제한된 권한 (narrow permissions)은 여전히 필수적입니다.

Priyanshu 등은 Claude의 거버넌스 (governance)에 있어 투명성과 벤치마킹 (benchmarking)을 강조합니다. [8] Mythos급 출시의 경우, 취약점 발견 및 익스플로잇 생성에 대한 공개적인 역량 보고서와 더불어 명확한 완화 조치 및 모니터링 약속이 포함되어야 합니다. [7]

공개적인 Mythos 스타일의 모델은 엔지니어링, 보안 및 거버넌스의 AI 지형을 변화시킵니다. 팀들은 공격자가 프론티어 도구 (frontier tools)를 사용할 것이라고 가정해야 하며, 지속적인 적대적 평가 (adversarial evaluation) 및 편향성 평가 (bias evaluation)를 채택하고, 신규 규제에 부합하며, 프로덕션 아키텍처 (production architectures)를 강화하고, 해당 모델을 중심으로 성장하는 도구 및 의존성 생태계 전반을 보호해야 합니다. [1][2][3][4][5][6][7][8][9][10]

About CoreProse: 검증된 인용을 포함한 연구 중심의 AI 콘텐츠 생성. 환각 (hallucinations) 없음.

🔗 Try CoreProse | 📚 More KB Incidents