Anthropic의 금요일 킬 스위치(Kill Switch)가 AI와 결정론적 작업(Deterministic Work)을 분리하는 방식을

Cursor에서 절반쯤 끝난 리팩터링(Refactor) 작업을 진행하던 중, 팀원이 Slack에 링크 하나를 올렸습니다. Anthropic이 Fable 5와 Mythos 5를 오프라인 상태로 전환했다는 내용이었습니다. 속도 제한(Rate limit)도 아니었고, 예정된 유지보수도 아니었습니다. 그냥 사라진 것입니다.

제 첫 번째 생각은 정책에 관한 것이 아니었습니다. 실무적인 문제였습니다. 우리가 CI(지속적 통합)에서 실행하는 스크립트는 테스트 실패를 요약하기 위해 Claude를 사용합니다. 다른 엔지니어는 보안 분류(Security-triage) 프롬프트를 API를 통해 라우팅합니다. 우리 둘 다 모델이 월요일이 되면 전기처럼 당연히 그 자리에 있을 것이라고 가정했습니다.

하지만 그렇지 않았습니다.

오후 5시 21분에 도착한 서신

Lawfare와 TechCrunch의 보도에 따르면, Anthropic과 해당 매체들은 미국 상무부(U.S. Commerce Department)가 동부 표준시 기준 6월 12일 금요일 오후 5시 21분에 서신을 보냈다고 전했습니다. 수출 통제 권한을 인용하며, 상무부는 Anthropic에 미국 내외를 불문하고 Anthropic의 외국인 직원까지 포함하여 모든 외국인에 대해 Fable 5와 Mythos 5에 대한 접근을 차단하라고 명령했습니다.

Anthropic은 API 고객을 국적별로 안정적으로 분류할 수 없습니다. 그래서 회사는 규정 준수를 보장할 수 있는 유일한 조치를 취했습니다. 바로 모든 사람에 대해 두 모델을 비활성화한 것입니다.

불과 몇 시간 만에 시장에서 가장 유능한 모델 쌍 중 하나가 전 세계적으로 사용할 수 없게 되었습니다. 법정 심리도 없었습니다. 서신의 공개된 전문도 없었습니다. 그저 목요일에는 존재했던 제품이 주말에는 존재하지 않게 된 것뿐입니다.

만약 당신이 타인의 API를 기반으로 무언가를 구축하고 있다면, 이러한 일련의 과정은 당신을 불안하게 만들어야 합니다.

이것은 진정으로 탈옥(Jailbreak)에 관한 것이 아니었습니다 — 혹은 어쩌면 맞을지도 모릅니다

공식적인 이유는 여전히 모호합니다. Anthropic은 해당 서신이 가드레일(Guardrail) 우회와 관련이 있다고 믿고 있습니다. David Sacks는 이를 심각한 취약점으로 규정했습니다. 보도에 따르면

Anthropic은 반박했습니다. 해당 문제는 국한된 것이었으며, 부분적으로는 출시 전에도 알려져 있었고, 경쟁사들의 프런티어 모델(Frontier models)에서도 나타나는 현상이라고 말입니다. 그들은 만약 이것이 표준이 된다면, 모델을 전 세계적으로 회수하는 것은 본질적으로 모든 연구소의 프런티어 배포를 중단시키는 결과가 될 것이라고 주장했습니다.

그 후 Luta Security의 설립자인 Katie Moussouris가 의견을 냈습니다. Anthropic은 해당 우회 의혹을 설명하는 비공개 논문을 공유한 바 있습니다. Moussouris는 이러한 동작이 "수출 통제(Export control)를 촉발해서는 안 되었다"라고 작성했습니다. 그녀는 그 차이가 주로 모델에게 _보안 문제를 위해 코드를 검토(review code for security issues)_하도록 요청하는 것과, _이 코드를 수정(fix this code)_하도록 요청하는 것 사이의 차이에서 발생한다고 설명했습니다. 출력 결과의 범주는 같지만, 표현 방식이 달랐던 것입니다.

수십 명의 보안 연구원들이 행정부에 해당 명령을 취소해 달라는 공개 서한에 서명했습니다. 그들의 논거는 다음과 같습니다. 논쟁이 진행 중인 상황에서 방어자들로부터 첨단 모델을 빼앗는 것은, 논쟁 중인 위험 요소보다 미국의 사이버 보안에 더 해롭다는 것입니다.

Axios는 소식통을 인용하여, Anthropic과 행정부 사이의 인격적 마찰이 기술 보고서 자체보다 더 큰 동인이었다고 설명했습니다. 그 부분은 증명하기가 더 어렵습니다. 하지만 패턴은 일치합니다. Anthropic은 이미 모델의 무제한적인 군사적 사용을 거부한 이후, 펜타곤(Pentagon)의 공급망 블랙리스트에 대해 소송을 제기하고 있습니다. Anthropic의 안전 태도를 신뢰하든 그렇지 않든, 이를 순수하게 기술적인 개입으로 해석하기는 어렵습니다.

수출 통제와 SaaS의 만남

무역 정책을 따르지 않더라도 Lawfare의 분석은 숙고해 볼 가치가 있습니다. 수출 관리 규정(Export Administration Regulations)은 칩과 유형의 기술을 위해 구축되었습니다. 바이든의 AI 확산 규칙(AI Diffusion Rule)은 모델 가중치(Model weights)를 잠시 통제 목록에 올렸으나, 트럼프가 취임하며 이를 철회했습니다. 이번 Anthropic 조치는 수출 통제가 활성화된 API 모델에 대한 접근을 차단하기 위해 사용된 첫 사례일 수 있습니다.

이는 복잡한 질문들을 던집니다:

**가중치 (weights)**가 통제되는 것인가, 아니면 **출력값 (outputs)**이 통제되는 것인가?
미국 SaaS 제품에 대한 외국인의 접근을 과연 "수출"이라고 볼 수 있는가?
만약 가드레일 (guardrails)이 실패한다면, 동맹국 연구자들을 포함한 모든 비(非) 미국인에 대한 포괄적 금지가 정당화될 수 있는가?

미 의회는 이번 사건이 발생하기 전까지 프런티어 AI (frontier AI)에 대한 명확한 라이선스 체제와 유사한 것을 통과시킨 적이 없습니다. Anthropic의 CEO는 사실 며칠 전, 정부가 임의적인 결정에 대한 보호 장치를 갖춘 상태에서 위험한 배포를 차단할 수 있어야 한다고 주장한 바 있습니다. 금요일 저녁에 전달된 기준 없는 서신은 아마도 그가 의도했던 바가 아닐 것입니다.

외국 정부들은 미국의 AI 인프라가 핵심 시스템을 위해 신뢰할 수 있는지 의구심을 갖게 될 것입니다. 오늘날 가장 선호되는 미국 모델이 내일은 협상 카드가 될 수도 있습니다.

현장의 개발자들에게 무엇이 무너졌는가

우리 대부분은 프런티어 모델을 훈련시키지 않습니다. 우리는 스택 트레이스 (stack traces)를 채팅창에 붙여넣고, API 호출을 연결한 뒤 다음 작업으로 넘어갑니다. 하지만 킬 스위치 (kill switch)는 여전히 실제 워크플로 (workflows)에 타격을 입혔습니다:

Fable 또는 Mythos에서 스프린트 (sprint)를 진행 중이던 팀들은 페일오버 (failover)를 수행하거나, 프롬프트 (prompts)를 다시 작성하거나, 기능을 일시 중단해야 했습니다.
멀티 프로바이더 추상화 (multi-provider abstraction)를 갖추지 못한 스타트업들은 단일 벤더 의존성 (single-vendor dependency)에 대한 값비싼 교훈을 얻었습니다.
로그 분류 (log triage)를 위해 Claude를 사용하려 했던 보안 엔지니어들은 이미 긴박하게 돌아가는 뉴스 사이클 속에서 도구가 사라진 것을 발견했습니다.

LLM을 선택적인 가속기로 취급한다면 이 중 어느 것도 재앙적이지 않습니다. 하지만 모델 자체가 곧 제품이 되도록 설계했다면 — 즉, 폴백 (fallback)도 없고, 오프라인 경로도 없으며, 지루한 부분들을 대체할 결정론적 (deterministic) 대안도 없다면 — 이는 재앙입니다.

AI는 판단이 많이 필요한 작업에는 탁월합니다: 익숙하지 않은 코드베이스를 설명하거나, 마이그레이션 계획을 초안하고, 불안정한 테스트가 왜 순서에 의존적인지 제안하는 일 등입니다. 하지만 JWT를 디코딩하거나, JSON 에러 바디 (error body)를 포맷팅하거나, 로그 타임스탬프가 초 단위인지 밀리초 단위인지 확인하는 유일한 방법으로 사용하기에는 최악입니다. 그러한 작업에는 추론 (reasoning)이 필요하지 않습니다. 정확성, 속도, 그리고 데이터가 어디로 가는지에 대한 명확한 경계가 필요할 뿐입니다.

Anthropic의 모델들이 작동을 멈췄을 때, 결정론적 작업 (deterministic chores)들이 사라지지는 않았습니다. 파이프라인은 여전히 잘못된 형식의 JSON을 내보냈습니다. 스테이징 (Staging) 환경은 여전히 무작위 웹사이트에 붙여넣어서는 안 될 토큰들을 우리에게 건네주었습니다. YAML 파일의 크론 표현식 (Cron expressions)은 배포 전 여전히 재검토가 필요했습니다.

내가 바꾼 것 — 아주 조금

나는 AI 어시스턴트를 포기하려는 것이 아닙니다. 엔지니어링의 복잡한 중간 과정에서 그것들은 너무나 유용합니다. 하지만 지난 주말은 나에게 두 가지 범주를 분리해야 한다는 점을 상기시켜 주었습니다.

범주 A — 모델이 판단력을 더하는 작업: 설계상의 트레이드오프 (design tradeoffs), 생소한 API, 긴 설명 등.

범주 B — 순수 변환 (pure transformation): 포맷팅 (format), 디코딩 (decode), 인코딩 (encode), 검증 (validate), UUID 생성, 크론 필드 (cron field) 파싱 등.

범주 B는 프런티어 API (frontier API)가 온라인 상태인지, 가격이 동일한지, 혹은 모든 관할 구역에서 정치적으로 수용 가능한지 여부에 결코 의존해서는 안 됩니다. 이는 로컬에서 실행되어야 하며, 몇 초 안에 완료되어야 하고, 고객의 페이로드 (payload)를 제3자에게 전송해서는 안 됩니다.

나는 정확히 이러한 범주 B 작업들을 위해 DevCove라고 불리는 작은 브라우저 워크벤치 (workbench)를 유지 관리하고 있습니다. 각 페이지가 하나의 작업만을 수행하며, 로드 후 브라우저 내에서 처리됩니다. 로컬 도구가 도덕적으로 우월하기 때문이 아니라, 올바른 의미에서 '지루하기' 때문입니다. 이들은 수출 통제 (export-controlled) 대상이 되지 않습니다.

Claude API가 다운된 동안에도 내가 계속 열어두었던 탭들:

AI가 어디에나 있는 시대에 왜 로컬 우선 (local-first) 도구가 여전히 중요한지에 대한 더 자세한 견해는 Local-first developer tools in the AI era를 참조하십시오.

jq, IDE 플러그인, 그리고 터미널의 원라이너 (one-liners) 모두 작동합니다. 핵심은 어떤 탭을 사용하느냐가 아닙니다. 핵심은 모델 엔드포인트 (model endpoint), 계정, 또는 워싱턴에서의 정책 논쟁을 필요로 하지 않는 폴백 (fallback) 수단을 갖추는 것입니다.

선례는 장애보다 오래 지속된다

이 글을 읽을 때쯤이면, Anthropic과 정부는 문제를 해결했을지도 모릅니다. 모델들이 다시 복구되었을 수도 있습니다. 하지만 그것은 거의 본질에서 벗어난 이야기입니다.

선례는 남았습니다. 미국의 AI 제품이 투명성이 제한된 상태에서 촉박한 통보와 함께 전 세계적으로 차단될 수 있으며, 그 과정에서 업계는 해당 트리거 사건이 국가 안보 사건에 해당하는지 여부를 두고 논쟁을 벌입니다. 만약 당신이 엔지니어링 리드(engineering lead)라면, 이는 클라우드 리전 장애나 벤더의 가격 인상과 함께 당신의 리스크 레지스터(risk register)에 포함되어야 할 사항입니다.

개별 개발자라면, 교훈은 더 작고 실행 가능합니다: 버킷 A와 버킷 B를 병합하지 마십시오. AI가 당신의 사고를 돕게 하십시오. 네트워크 왕복(network round trip)이 필요하지 않은 일상적인 작업들 — 특히 비밀 정보(secrets)를 포함하는 작업들 — 은 로컬의 결정론적 도구(deterministic tools)가 처리하도록 하십시오.

당신은 현재 제공업체 리스크(provider risk)를 어떻게 관리하고 있습니까? 멀티 모델 라우팅(multi-model routing), 특정 작업을 위한 셀프 호스팅 가중치(self-hosted weights), 아니면 그저 행운을 빌며 금고에 캐시된 API 키를 보관하고 있습니까?

당신이 의존하고 있는 API가 금요일에 갑자기 작동을 멈춘다면, 당신의 폴백 플랜(fallback plan)에는 무엇이 들어 있습니까?