AI 연구자들과 사이버 보안(Cybersecurity) 리더들은 미국 정부가 방어자들이 취약점(Vulnerabilities)을 식별하고 수정하는 데 도움이 되는 도구를 미국 AI 기업들이 구축하는 것을 저해할 수 있는 전례를 남기고 있다고 우려하고 있습니다.

중요한 이유: AI 해킹 위기를 방지하려는 시도가 오히려 미국의 사이버 방어력을 약화시키는 결과를 초래할 수 있다고 수십 명의 저명한 보안 리더들이 경고했습니다.

---

• 사이버 보안(Cybersecurity) 전문가들은 이 지속적인 갈등이 미국의 사이버 방어에 미칠 장기적인 영향에 대해 우려하고 있습니다.
• 전 Facebook 보안 책임자인 Alex Stamos는 Axios에 "그들은 미국 모델이 방어적 보안 연구(Defensive security research)를 수행할 수 없다는 전례를 남겼습니다"라고 말했습니다.

뉴스 핵심: Stamos는 약 150명의 보안 리더들이 서명한 공개 서한을 조직하여, Anthropic의 Fable 5 및 Mythos 5에 대한 접근을 제한하려는 Trump 행정부의 조치를 철회할 것을 촉구했습니다.

• Anthropic이 첫 번째 Mythos급 모델을 공개한 후, Mythos에 대한 중국의 접근에 대한 우려와 Amazon CEO Andy Jassy의 요청이 지난주 행정부를 패닉 상태로 몰아넣은 것 것으로 알려졌습니다.
• 이 분쟁 중에 Anthropic은 Fable 및 Mythos의 보안에 대한 Amazon의 우려를 평가하는 데 도움을 주기 위해, 국방부(Defense Department)의 버그 바운티(Bug bounty) 프로그램 구축을 도왔고 여러 정부 주도 자문 위원회에 참여했던 선도적인 제로데이(Zero-day) 버그 헌터를 영입했습니다.
• 현재 행정부는 해당 보안 연구자를 "급진적 민주당원"으로 몰아가고 있으며, 이는 어제 제 동료들이 보도한 바와 같습니다.

행간의 의미 (Between the lines): 이번 분쟁은 단일 모델에 대한 싸움을 넘어, 정부가 AI 보안 연구에 대해 성문화되지 않은 규칙을 만들고 있는가라는 더 넓은 문제로 빠르게 전환되었습니다.

• 이번 사태에 연루된 기술진과 대화한 Stamos는 Amazon이 지적한 발견 사항들이 Anthropic의 모델에만 고유한 것으로 보이지는 않는다고 말했습니다.
• Amazon의 우려 사항을 잘 아는 여러 관계자들은, 해당 우려가 Fable이 "개념 증명 (proofs of concept)"을 작성할 수 있게 하는 탈옥 (jailbreak) 기능에 집중되어 있다고 전했습니다. 이는 보안 팀이 취약점을 이해하고 수정하기 위해 자주 사용하는 기능입니다.
• Luta Security의 CEO인 Katie Moussouris는 어제 상세한 블로그 포스트를 통해 Amazon의 조사 결과 사본을 확인했으며, 이 문제는 모델의 대규모 악용에 관한 것이 아니라 방어적 보안 작업을 지원하도록 설계된 프롬프트(prompts)에 관한 것이라고 말했습니다.

과거 회상 (Flashback): Fable 5를 출시하기 전, Anthropic은 내부 팀 및 외부 보안 연구원들과 협력하여 모델의 탈옥 (jailbreak) 및 기타 결함을 테스트했다고 밝혔습니다.

• 또한 이 회사는 "현재 어떤 모델 제공업체에게도 완벽한 탈옥 저항성은 불가능하다"고 주장하며, "탈옥을 좁은 범위로 제한하거나... 생성 비용을 매우 높게 만드는 것"에 집중해 왔습니다.

위협 수준 (Threat level): 사이버 전문가들은 만약 프런티어 AI (frontier AI) 기업들이 취약점을 식별할 수 있는 모델에 대해 처벌받을 것을 두려워하게 된다면, 방어자들이 이미 의존하고 있는 기능들을 제거하고 싶은 유혹을 느낄 수 있다고 경고합니다.

• Moussouris는 X 포스트를 통해 사이버 방어자들에게 모델의 유용성을 떨어뜨리지 않으면서 해결할 수 있는 방법은 없다고 언급했습니다.
• 그녀는 "만약 이것이 현 행정부의 최선의 판단이라면, 어떤 새로운 프런티어 모델도 개발되거나 출시될 수 없을 것"이라고 덧붙였습니다.

거시적 관점 (The big picture): 연구자들은 행정부의 대응이 적대 세력에게 유리한 고지를 제공할 위험이 있다고 주장합니다.

• 연구자들은 중국의 AI 개발자들과 정부 지원 해킹 그룹들이 유사한 도구들을 포기할 가능성이 낮다고 지적하며, 이로 인해 미국의 방어자들이 적대 세력이 사용 중인 능력에 대한 접근 권한을 잃을 수 있다는 우려를 제기합니다.
• "이것은 제가 알고 있는 미국보다는 중국에 더 가깝습니다. 개인적으로 저는 이것을 미국의 역동성 (American dynamism)에 대한 거대한 위협으로 보고 있습니다"라고 Stamos는 말했습니다.

주시해야 할 점 (What to watch): 미국 정부는 최근의 AI 보안 행정 명령 (AI security executive order)을 통해 취약점 정보 공유 센터 (vulnerability clearinghouse)를 구축하는 과정에 있으며, 이는 탈옥 (jailbreaks), 프롬프트 주입 (prompt injections) 및 기타 AI 모델에 대한 위협 보고를 분류 (triage)하는 역할을 할 가능성이 높습니다.

• 하지만 최근 몇 주간 발생한 여러 백악관 (White House) 인력 이탈 (departures)과 국가 최고 사이버 기관의 소외 (sidelining) 이후, 트럼프 행정부에 얼마나 많은 사이버 보안 (cybersecurity) 인재가 남아 있는지에 대한 의문이 지속되고 있습니다.

더 깊이 알아보기 (Go deeper): Trump의 Anthropic 규제가 가진 숨겨진 위험 (The hidden risk of Trump's Anthropic crackdown)