모델 훈련 사고는 태만함의 결과

Ben McKenzie에게 사과의 말씀을 전하며

AI 회사들로부터 나오는 말도 안 되는 소리를 대수롭지 않게 넘기려고 노력합니다. 여러분 모두가 알고 있듯이, 저는 이윤 동기가 그들의 입에서 나오는 모든 단어에 물감을 칠한다는 것을 인정합니다. 하지만 지난주 엄청난 양의, 음, 말똥보다 나은 단어를 생각하기 어렵습니다. 그것들은 저를 Charlie Day처럼 점들을 연결하게 만들었습니다.

사고들

이 특별한 광대짓 시즌은 OpenAI 모델에 의해 발생한 Hugging Face 사고 공개로 시작되었습니다. 저는 이미 그 주제로 한 번 이야기했기 때문에 다시 다룰 필요는 없습니다. Black Hat 강연과 해당 사고에 대한 독립적인 보고서 이후, 댐의 문이 열린 것 같습니다.

Hugging Face가

뒤처지지 않으려는 듯, Anthropic 역시 자체적인 '핫 컴퓨터 범죄 여름'(그리고 봄이기도 하다)을 보내고 있었습니다. 그들의 초기 공개와 후속 보고서에서는 문제가 된 사건들 동안 모델 의도에 대해 자신들이 너무 믿음이 많았음을 인정했는데, 이 보고서는 Anthropic 모델들이 의도된 작동 범위를 벗어나 공격을 수행한 3~4건의 별도 사건들을 설명합니다 (그들은 그 사이에 또 다른 사건을 발견했습니다).

보고서들은 시간표에 대해 의도적으로 모호하며, 제가 찾을 수 있는 독립적인 보도 중 실제로 Anthropic 사건들의 날짜를 확인해 주는 것은 없습니다. 하지만 PyPI Python 패키지 저장소에 악성 패키지를 업로드한 Mythos 5의 사건 중 하나에 대한 Anthropic 자체 기록은 2026년 7월 18일로 타임스탬프가 찍혀 있습니다. 다른 사건들은 이름이 언급된 모델들의 출시 날짜를 기반으로 추론된 기간 범위를 가지고 있습니다. 전반적으로, 우리는 2026년 1월에 시작하여 4월, 6월, 그리고 7월까지 계속된 사건들에 대해 이야기하고 있을 가능성이 높습니다.

2026년 1월. 지금은 9월입니다. 이 활동을 발견하는 데 왜 9개월이 걸렸을까요?

우리가 아는 시간표를 검토해 봅시다.

• 2026년 1월: Claude Opus 4.6이 CTF(Capture The Flag)라고 생각하며 실제 회사를 공격함
• ~2026년 4월: Claude Opus 4.7이 CTF라고 생각하며 실제 회사를 공격함
• 2026년 5월 12일: OpenAI 모델이 RubyGems에 수백 개의 악성 패키지를 업로드함
• 2026년 5월 - 6월: OpenAI 모델들이 독일 위키를 공격함
• ~2026년 6월: Anthropic 연구 모델이 CTF라고 생각하며 실제 회사를 공격함
• 2026년 7월 13일 - 16일: OpenAI 모델들이 ExploitGym에서 목표를 달성하기 위해 Hugging Face를 공격함—기본적으로 CTF임
• 2026년 7월 18일: Claude Mythos 5가 CTF라고 생각하며 PyPI에 악성 Python 패키지를 업로드함

저는 여기서 Anthropic의 내면 생활을 감탄하지 않을 수 없습니다. 그 현실 왜곡장에서는 어떤 느낌일까요? 그들은 문자 그대로 일탈적인 모델들에게 무엇을 했고 왜 그랬는지 물었고, 모델들이 그것을 믿었습니다.

돌이켜보면, 우리는 Claude가 무엇을 말했는지에만 근거하여 Claude가 믿는 것에 대해 그렇게 강한 주장을 하는 것을 피했어야 했습니다. 하지만 우리의 초기 분석은 사건 발생 기록에서 사건을 시기적절하게 공개하고 싶다는 욕구 때문에 제약적이었습니다. 이제 더 완전한 평가를 수행하고 모델의 CoT(사고 과정)에 대한 보다 철저한 분석, 사건 기록의 여러 지점에서 재샘플링 실험, 그리고 모델 활성화에 대한 해석 가능성 분석을 포함한 여러 방법을 사용함으로써, 우리는 Claude의 행동이 두 가지 형태의 정렬 불일치(misalignment)를 반영한다고 믿습니다:

편향된 추론(Biased reasoning): 모델들이 자신의 행동을 정당화하는 데 유리하도록 증거를 선택적으로 해석하는 경우;
무모함(Recklessness): 모델들이 해를 초래할 수 있음에도 불구하고 계속해서 작업을 해결하려고 하는 경향이 있는 경우.

당신은 '정렬 불일치'라고 말하고, 저는 '인터넷에 부적합하다'고 말합니다.

그리고 이것도 기억해야 합니다. 이 모델들 각각은 인터넷으로부터 격리되어야 했습니다. 샌드박싱(Sandboxing)은 모든 진지한 사이버 보안 팀이 방법을 아는 것입니다. 저는 항상 악성코드 폭파를 위한 실험실을 구축하며, 그곳에서는 샘플들을 인터넷으로부터 특별히 격리합니다. 심지어 0-day 취약점을 포함하는 Hugging Face 공격의 경우에도 인터넷 접근 권한이 주어졌습니다. 만약 당신이 정말로 위험한 무기를 만들고 있다고 생각한다면, 이 정도 수준의 격리가 안전을 중요하게 다루고 있지 않다는 뜻입니다.

또한, 재미있는 생각이 하나 있습니다: 혹시 CTF(Capture The Flag)를 훈련 방식으로 사용하는 것을 중단하는 것이 어떨까요? 공격을 게임화하는 것이 이러한 모델들에게는 그다지 효과적이지 않은 것 같습니다.

현황 (The Landscape)

이 회사들이 어떻게 대응하고 있는지 검토하기 전에, 이 회사들이 운영되고 있는 기반의 사실들, 즉 맥락을 고려해 봅시다.

첫째, 모두가 이들을 싫어합니다. NBC News의 3월 10일 여론조사에 따르면 미국인들의 AI에 대한 감정은 ICE와 민주당을 따라잡는 수준입니다. Gallup의 7월 여론조사에서는 더 많은 미국인이 AI에 대해 생각을 바꾸고 있으며, 이는 이 기술이 좋은 것보다 해로운 것이 더 많거나 혹은 좋음과 해로움이 같은 정도라고 생각하며, 좋은 것이 해로운 것보다 더 많지는 않다고 보고 있습니다. 데이터 센터 시위는 대부분의 사람들에게 이 기술이 가진 완전히 역행하는 비용-편익 비율에 대한 대중의 정서를 반영합니다. 아, 그리고 GPU가 장착된 서버들로 이 데이터 센터들을 채우기 위해 모든 기기를 더 비싸게 만드는 것도 잊지 말아야 합니다. 우리 모두는 물건을 사는 데 돈을 더 쓰는 것을 좋아하잖아요, 그렇죠?

둘째, 이들은 돈을 엄청나게 쓰고 있습니다. Anthropic과 OpenAI의 IPO를 향한 경쟁은 가치 평가라는 독점적인 돈을 절실히 필요한 자본으로 전환하려는 단순한 희망입니다. 하지만 물론 그 가치를 파헤쳐 보면 완전히 터무니없습니다. 제 관점에서 볼 때, 이 회사들에 투자하는 것은 2007년 Bear Stearns나 Lehman Brothers에 돈을 주는 것과 다름없습니다.

셋째, 중국이 이들의 점심 식사를 먹고 있습니다. 미국 최첨단 모델들을 정제하고 미국의 연구소들이 제공하는 비용의 일부만으로 자체 개방형 가중치(open-weights) 모델을 출시하는 전략을 추구하면서, 중국 AI 연구소들은 상당한 부분의 AI 시장을 장악했습니다. 그리고 보조금을 받는 미국 AI 토큰이 과거가 되고 LLM의 실제 비용이 명확해짐에 따라, 필요한 하드웨어를 감당할 수 있는 누구에게나 로컬에서 실행될 수 있는 개방형 가중치 모델만이 이 기술의 유일하게 합리적인 버전이 될 것입니다. 이것 역시 그들이 컴퓨팅 수단을 통제하는 데 매우 열심인 이유입니다.

전반적으로, 하이퍼스케일러들에게는 모든 것이 잘 진행되고 있습니다.

그렇다면 그들은 이러한 일련의 보안 실패에 어떻게 대응할까요?

대응 방안

Hugging Face의 뉴스가 터졌을 때, 제가 활동하는 인터넷 구역의 통념은 그것이 모두 마케팅 술책이라고 했습니다. 저는 이러한 해석에 다소 회의적이었는데, 그 회의론이 입증되었습니다. 네, 이 회사들은 재난 상황에서 방향을 틀 줄 아는 방법을 알고 있지만, 여기에는 아무것도 미리 계획된 것이 아니라는 것이 분명합니다. 오히려 우리는 OpenAI와 Anthropic 모두에게서 오는 방치(neglect)의 패턴을 보았고, 이것이 필연적으로 이러한 상황으로 이어졌습니다.

그렇다면 대응책은 무엇일까요? 우선, 모든 사람들이 모여 사이버 방어에 대한 '집단적 행동'을 촉구하는 매우 진지한 공개 서한(Open Letter)을 작성했습니다. 왜냐하면... 위험한 새로운 역량들 때문에요...

노트를 확인하며

...아 맞다, 그들이 판매하는 모델들 때문입니다. 이들은 기업부터 정부에 이르기까지 모든 그룹을 위한 권고 사항을 가지고 있습니다. 그리고 AI 회사들에게는요?

책임감 있는 모델 접근성 제공, 상당한 자금 지원(funding), 훈련 및 실질적인 지원을 특히 자원이 부족한 핵심 인프라 방어자들에게 제공해야 합니다. 관측 가능성(observability) 및 보안 도구를 구축하고, 에이전트적 정체성(agentic identities)이 추적 가능하고 책임 소재가 명확하도록 보장하며, 지속적인 모니터링에 대한 모범 사례를 공유해야 합니다. 승인된 테스트, 비공개 공개(private disclosure), 검증된 수정 사항에 투자하고, 정부, 보안 파트너 및 오픈 소스 유지 관리자들과 도구, 플레이북(playbooks), 신뢰할 수 있는 위협 평가를 공유하여 대비 태세, 대응 및 복구를 강화해야 합니다.

더 많은 AI가 필요합니다. 분명히 그것이 해결책일 것입니다.

지금까지 우리가 아는 바로는, 이 모델들이 소스 코드에서 취약점을 찾아낼 수 있다는 것입니다. 알려진 공격 경로를 실행할 수도 있습니다. 취약점을 패치하는 것은? 그리 쉽지 않습니다. 그리고 공격을 탐지/예방하는 것은요? 만약 그 증거가 있다면, 저는 아직 보지 못했습니다.

사실, 이번 달에 Anthropic이 자체 플랫폼을 이용해 불법적/악의적인 운영을 방해한다는 보고서는, 그들이 악의적인 행위자들이 자신들의 모델을 사용하는 것을 막을 수 없다는 것을 시사합니다. 여기에는 생물학 무기 연구나 미사일 유도 시스템 설계 같은 상당히 위험한 목적을 위한 사용이 포함됩니다.

이러한 현실과 씨름하는 대신, 우리는 공통된 대응책을 얻습니다: 아포칼립스 카드™(Apocalypse Card™)입니다.

이 모든 것이 벌어지는 동안, AI 연구원 Jacob Coxon은 Anthropic을 사임하면서, 회사가 인류에게 위험할 '자체 개선 초지능(self-improving superintelligence)'을 구축하고 있다고 주장했습니다.

이 기술의 힘을 과소평가해서는 안 됩니다. 이 시스템들은 곧 무엇이든 해킹하고, 어떤 분야든 하룻밤 사이에 혁신하며, 실제 권력과 자원을 확보할 수 있는 초인적인 시스템이 될 것입니다. 우리는 이미 이 모든 영역에서 진전을 목격했으며, 발전은 멈추지 않고 있습니다.

저는 Coxon의 게시물에 담긴 '바나나' 주장에는 관여하지 않겠습니다. 다만, 비상 정지 스위치(off switches), 저장 용량 가용성, 원자재 가용성과 같은 것들을 고려해 보면 인류 종말을 초래할 초지능이라는 주장은 설득력이 떨어진다는 점만 말씀드리겠습니다.

하지만 이러한 종말론은 어느 정도의 기술 전문가들에게 오랫동안 이어져 온 흐름입니다. 그리고 Anthropic은 이 익숙한 게임을 다시 한번 할 준비가 되어 있었습니다. 사실, Coxon이 매우 요란하게 사임하기 전(이는 그의 경력에 큰 도움이 되는 것 같습니다), OpenAI는 'An Alien Mind'를 발표하며 기계가 얼마나 화려하고 신비로우며 알 수 없는 존재인지를 묘사했습니다. 그리고 그들이 RSI—손목터널 증후군이 아니라, 기계가 스스로 더 똑똑한 개체로 훈련되기 시작하는 통제 불능의 연쇄 반응인 재귀적 자기 개선(Recursive Self Improvement)에 대해 얼마나 우려하고 있는지도 말입니다. 이 이론은 매우 엄격한 경우를 넘어서 입증된 바는 없습니다.

기계의 힘에 대한 두려움은 일종의 매혹입니다. 결국, 핵심은 '힘'이니까요. 세상을 바꾸고 싶은 기계는 진정으로 멋져야 하며, 변화를 일으킬 수 있는 능력 면에서 무서워야 합니다. 이 기술이 모든 것을 끝낼 수 있는 잠재력에 대해 이야기하는 것은, 그들이 배운 바와 같이, 최전선 연구소들이 가진 최고의 홍보 전략입니다. 실리콘밸리에 밖에 있는 사람은 코드를 더 빨리 작성하는 것에 관심이 없습니다. 하지만 종말을 가져오는 것? CNN은 당신에게 연락할 것이고. 투자자들도 마찬가지일 것입니다.

최첨단 연구소들이 자신들의 경악스러운 태만함에 대한 대응으로 익숙한 영역으로 되돌아가고, 과정에서 실질적인 개선을 할 뿐만 아니라 형식적으로만 언급하는 것이 전부입니다. Dario Amodei가 제시한 가장 최근의 '최전선 속도 조절(pacing the frontier)' 요구조차 궁극적으로는 어리석은 회피책에 불과합니다. 일종의 '슬로우다운'을 촉구하는 이 공개 서한(이 분야와 공개 서한들은 대체 무슨 관계인가?)은 기껏해야 모호할 뿐입니다. 이 성명서에는 다음과 같이 쓰여 있습니다:

미국 정부가 자동화된 AI 개발의 최전선을 의도적으로 속도 조절하는 데 필요한 기술적 및 거버넌스 도구를 개발하기 위한 국제적인 노력에 지원해 줄 것을 요청합니다.

요컨대, '우리 좀 규제해주세요'라는 것이며, 이는 우주에서 가장 명백한 회피책입니다. 여기서는 완전히 엔트로피적인 입법 기관이므로: 알아서 하세요.

Amodei 자신의 서한은 세 가지 조치를 요구하는데, 그 중 어느 것도 '속도 조절'을 의미하지 않습니다. 첫째, 그는 최전선 연구소의 안전 관행을 감사할 임베디드 '평가자(evaluators)'를 원합니다. 그는 METR을 이러한 평가자의 출처로 지목합니다.

음, METR에 대해 말하자면. 저는 그들의 소개 페이지에 나열된 모든 사람들의 LinkedIn 프로필을 살펴보았습니다. 이런 종류의 점진적인 OSINT(개방형 정보) 연구를 위해 제가 LinkedIn Premium에 비용을 지불합니다. 이들은 의심할 여지 없이 저명한 ML/AI 학자들로 구성되어 있습니다. 그들 중 누구도 사이버 보안 분야에서 전문 경력을 한 가지라도 나열하고 있지 않습니다. 단 한 명도요.