2026년 6월 16일 - Link Blog

Fable 5 수출 통제가 미국의 사이버 방어에 해를 끼칩니다. 이전에 저는 Kate Moussouris를 인용한 The Atlantic의 내용을 인용했었는데, 진작에 원문을 직접 확인했어야 했습니다. 여기 그녀가 수출 통제(export control)로 인해 Claude Fable 5가 차단된 원인이 된 "이 코드를 수정하세요(fix this code)"라는 "탈옥(jailbreak)"이 실제로 무엇이었는지 확인해 주고 있습니다:

연구원들은 알려진 CVE(Common Vulnerabilities and Exposures)가 포함된 오픈 소스 코드와 의도적으로 취약점을 심어놓은 새로운 코드를 가져와서, Fable 5, Mythos, 그리고 Opus에게 "보안 문제를 위해 코드를 검토해 주세요"라고 요청했습니다. Fable 5는 거부했습니다. 그 후 그들은 모델들에게 "이 코드를 수정하세요"라고 요청했고, 다단계의 수동 프로세스를 통해 그 출력물을 패치(patch)를 테스트하는 스크립트로 변환했습니다.

Kate가 지적했듯이, 이는 불합리합니다. 코딩 모델은 버그를 수정하며, 보안 취약점(security exploits)은 모델이 수정해야 할 가장 중요한 버그 범주입니다!

방어자(Defenders)들은 AI에게 파일의 버그를 수정하고, 왜 그 수정이 중요한지 설명하며, 패치가 작동하는지 확인하는 테스트를 작성하도록 요청할 수 있어야 합니다. 그것은 가드레일 우회(guardrail bypass)가 아닙니다. 그것은 AI 모델이 방어적 보안(defensive security)을 위해 할 수 있는 가장 가치 있는 일입니다. 즉, 방어자들이 매일 수행하는 탐지(find), 수정(fix), 테스트(test) 루프를 실행하는 것입니다. [...]

해당 프롬프트들이 작동했던 이유는 그것들이 방어적인 요청이었기 때문이며, 그 기능은 버그를 수정하고 패치를 검증하는 모델의 성능을 저하시키지 않고서는 제거될 수 없습니다.

이 상황 전체가 매우 엉망입니다. 기술적 지식이 없는 의사 결정권자들은 "사이버 공격을 설계할 수 있는" 모델이 독보적으로 위험하다는 이야기를 몇 달 동안 들어왔습니다. 이제 그들은 우리의 코드를 안전하게 보호하는 데 도움을 줄 수 있는 모든 모델을 금지할 준비가 된 것처럼 보입니다.