“충분한 능력을 갖춘 모든 모델은 의무 안전성 검사를 받아야 한다”는 말은 사실상 오픈 웨이트 모델 금지를 주장하는 것과 같음
누가 검사하며, 비용이 지나치게 비싸거나 관리자가 특정 참여자를 거부하면 어떻게 되는가? 미국은 과거에도 인증 도장을 의무화한 뒤 발급을 거부하는 방식으로 상품을 금지해 왔음

Anthropic은 자사 모델이 안전 계층을 포함한 상태로만 제공되므로 그 상태에서 평가해야 하지만, 오픈 웨이트 모델은 가중치 자체로 같은 검사를 통과해야 한다고 주장할 가능성이 큼
경제적 파장은 크겠지만 보안 효과는 미미해 보임. 미국 내 오픈 웨이트 모델 사용을 제한하면 최근 Hugging Face 공격 같은 사고를 줄일 수 있다는 논리가 가장 설득력 있겠지만, 정부가 검사 요건을 실질적으로 집행하기는 어려움
오픈 웨이트 모델은 API 제공 모델과 동일한 보안 기준을 충족하는 것이 사실상 불가능하며, 제작자가 원해도 준수할 수 없음. IP 차단과 수출 통제로 접근 및 추론 역량을 제한할 수 있지만 악의적 행위자를 억제하기에는 효과가 없음

Fable이 철회된 이유 중 하나로 “이 코드를 고쳐라”라고 지시한 탈옥이 거론됐음 — https://news.ycombinator.com/item?id=48552687
“Mythos급” 모델이 그렇게 위험하다면 차라리 모두의 코드를 고치게 하면 됨. 전 세계 소프트웨어 기업·서비스·활발한 자유·오픈소스 프로젝트는 많아야 수백만수천만 개일 테니, 각자 코드를 고칠 수 있도록 모두에게 Fable/Mythos 크레딧 100달러를 지급할 수 있음
Anthropic은 1억10억 달러로 인류 역사상 가장 큰 광고 캠페인을 벌이는 동시에 전 세계의 보안을 강화할 수 있음. 대부분은 악의적이지 않으며 엔지니어, 컨설턴트, 창업자, 사업주, 유지관리자라면 Mythos로 자기 코드를 고치려 할 가능성이 큼
이런 역량을 허가 관문과 밀폐된 문 뒤에 가두면 장기적으로 더 큰 피해가 생기며, 접근권을 가진 자가 누가 안전할 수 있는지 결정하는 비대칭 세계가 만들어짐. 모두가 Mythos를 가지면 누구도 독점적인 “Mythos”를 갖지 못하니, 그냥 사람들이 코드를 고치게 해야 함

안전성 평가 산업은 사실상 OpenAI와 Anthropic이 자금을 대고 통제함
최근 모델은 내부 검사나 사업 전체를 두 회사에 의존하는 Gray Swan 같은 외부 비공개 평가 업체만 이용하며, 이 회사들은 같은 연구자 인력풀을 서로 돌려 쓰고 있음

안전성 검사 비용을 1억 달러 이상으로 만들어 높은 가격을 받지 않는 한 세계 상당 지역에서 합법적으로 사용할 모델을 출시하지 못하게 하고, 결국 아무도 경쟁 모델을 쓰지 못하게 하려는 목표로 보임

“충분한 능력”의 정의도 빠졌음. 아마 Anthropic과 경쟁하는 모든 모델을 뜻할 것이며, 1년 뒤에도 회사가 존속한다면 Fable급은 신경 쓰지 않고 Claude 7 같은 당시 자사 모델과 경쟁하는 것만 제한하려 할 듯함

중국은 AI를 사악한 목적으로 쓰려는 위협이면서도, 동시에 경쟁국인 미국과 협력해 정체불명의 다른 행위자들이 같은 목표를 이루지 못하게 막아 줄 나라라는 슈뢰딩거의 중국으로 취급됨
현실은 단순함. Anthropic CEO는 자사의 폐쇄적이고 비싼 모델과 비슷하거나 더 뛰어난 모델이 널리 배포돼 수익에 타격을 주는 것을 원하지 않음
Anthropic을 비롯한 모델 회사들의 특별한 자산은 칩에 대한 특권적 접근뿐이므로, 어떤 모델이 나오고 누가 새 모델을 만들 수 있는지 제한하려는 것은 당연함. 규제가 없다면 수천억 달러 규모의 기업가치가 사라지는 것은 시간문제임

Dario는 늘 그렇듯 자신을 세계의 중심으로 여기는 듯함. 중국이 미국의 AI 지배를 가만히 받아들일 이유가 없으며, 대만을 선박 몇 척으로 봉쇄하기만 해도 이를 중단시킬 수 있음

이 블로그 글의 억지 논리가 Anthropic의 이미지를 개선하리라 생각했다는 점이 황당함
차라리 침묵했다면 더 존중했을 것임. 오픈 모델이 치열한 경쟁을 일으키거나 수익 기반을 파괴할 가능성이 명백한데도, 모든 인간 노동에 대한 권력을 독점하려는 시도를 도덕적 우위로 포장함

글은 중국으로 가는 하드웨어와 서방에서의 중국 오픈소스 모델 사용을 모두 제한하자면서 “우리는 경쟁을 지지하지만…”이라고 포장함
중국이 AI 혁신을 오픈소스로 공개해 AI 거품을 억제하거나 더 빨리 터뜨린 것은 자국 이익에 부합하는 훌륭한 선택이었다고 봄

첫 문단에서는 금지가 유용하지 않다고 하면서, 뒤에서는 중국의 칩 확보를 위한 밀수와 우회로를 단속해야 한다고 함 금지가 효과 없다는 믿음은 하드웨어에도 똑같이 적용돼야 함
Dario가 지지하는 세 조치는 중국 칩 판매 금지, 증류 단속, 모든 고성능 모델의 의무 안전성 검사이며 공교롭게도 모두 Anthropic에 상업적 이익을 줌. Anthropic이 오픈 웨이트 모델을 하나라도 공개했다면 훨씬 설득력 있었을 것임

미국 내 중국 오픈 웨이트 모델 사용 금지와 중국에 대한 AI 칩·반도체 제조 장비 수출 금지는 완전히 다른 사안이므로 하나를 반대하고 다른 하나를 지지해도 모순은 아님

Anthropic이 오픈 웨이트 모델을 공개하고 중국이 이를 증류해 악의적 목적으로 비밀리에 보유하는 상황이었다면 이 서한이 훨씬 더 말이 됐을 것임

요약하면 경쟁이 있어도 Anthropic이 계속 막대한 돈을 벌 수 있는 위치를 지키고 싶다는 뜻임

어제까지 자기 기술이 다른 나라의 여학교를 폭격하는 데 쓰일 가능성에는 개의치 않던 사람이 갑자기 또 다른 나라 시민의 억압을 걱정함
이런 도덕적 과시나 올해의 “악몽 시나리오”에 관한 우월한 훈계는 믿기 어려움

반대 의견 억압을 다룬 대목에서 현 Trump 행정부를 인용한 것이 흥미로움

Dario가 중국인의 안녕을 진심으로 걱는다고 믿기 어려움. 미국이 중국과 전쟁을 벌여 도시를 폭격한다면 지지하고, Claude로 DeepSeek와 Moonshot 본사를 표적 목록에 추가할 것 같음
친이스라엘 성향이면서 이스라엘 정부가 AI로 타국 국민을 통제하고 억압할 위험은 한 번도 다루지 않았고, 인구 통제·억압과 감시 국가 구축을 명시적 목표로 둔 Palantir와의 협력에도 적극적임
세계에서 가장 억압적인 북한은 AI 없이도 그렇게 하고 있음. 중국인에게 DeepSeek나 Kimi가 자신들을 억압한다는 Dario의 관념을 말하면 비웃을 가능성이 큼

기업이 이토록 빠르게 황금알을 낳는 거위에서 정체불명의 상태로 추락한 경우가 기억나지 않음
Dario의 발표에 깔린 상시 방어적 태도 때문에 Anthropic 제품을 믿거나 의존하고 싶은 마음까지 사라짐. 이 글로 누구를 설득하려 했는지조차 이해되지 않으며, Anthropic에 정비가 필요한 듯함

Anthropic의 최근 몇 달간 대외 소통은 놀라울 정도로 형편없으며, 경쟁이 치열한 시장이라는 점을 생각하면 이해하기 어려움

주요 투자자인 Google과 Nvidia는 오픈소스 청원서에 서명했고 Amazon은 서명하지 않았으므로, 갈라진 투자자와 대중을 모두 만족시키려 애쓰는 듯함
더 명확한 입장을 취한 모두를 달래려는 애매한 태도지만 결과는 상당히 좋지 않음

Anthropic은 원래부터 이랬음. 다만 별난 약자가 같은 메시지를 냈을 때는 사람들이 더 호의적으로 받아들였을 뿐, 지금은 수조 달러급 거대 기업처럼 보임

미국과 이스라엘이 시작한 정당성 없는 전쟁으로 세계 절반이 에너지 가격에 시달리는 상황에서 미국 억만장자가 중국을 세계 평화의 위협이라고 비난하는 모습은 역겨움

논리는 결국 “이 기술은 너무 위험하니 우리만 접근해야 하며, 우리는 선한 편이므로 안전한 사용을 보장할 수 있다”는 것임
그렇다면 감시자는 누가 감시하는가?

Anthropic의 존재 이유 자체가 AGI를 OpenAI나 Sam Altman이 통제하기에는 너무 위험하다는 믿음임. 그렇다면 지구상의 모든 사람이 이를 갖는 것 역시 위험하다는 결론으로 자연스럽게 이어짐

Anthropic은 오픈 웨이트 모델 자체의 금지를 주장하지 않으며, 권위주의 세력의 고성능 칩 확보를 막고 산업 규모의 증류를 차단하며 개방형·폐쇄형을 막론하고 충분히 강력한 모든 모델에 안전성 검사를 요구한다는 입장임

오픈 모델의 전면 확산을 지지한다면 생물무기와 사이버 공격 역량을 담은 오픈 웨이트 모델은 어떻게 해야 하는가?
공격자에게 이런 도구를 허용하는 것을 자유의 비용으로 받아들여야 하는가? OpenAI/Hugging Face 사건은 제약 없는 GPT 5.6급 모델의 능력을 보여 줬고, 약 6개월 뒤면 오픈 웨이트 모델도 그 수준에 도달해 모든 악의적 행위자가 같은 규모의 공격을 벌일 수 있음
개방성을 선호하는 것은 합리적이지만, 파급 효과를 진지하게 고민하지 않고 모든 상황에서 무조건 찬성하는 태도는 지나치게 순진함

Hugging Face 사건은 방어적 사이버 역량을 가진 오픈소스 모델이 필요한 이유를 잘 보여 줌
Hugging Face는 사이버 역량을 갖춘 최첨단 모델에 접근할 수 없었고 안전장치에 계속 막혔으며, 오픈소스 GLM-5.2를 사용하고 나서야 공격에서 살아남을 수 있었음. 오픈소스 모델이 금지되면 OpenAI나 Anthropic의 허용 목록에 없는 조직은 사이버 보안을 확보할 수 없음

악의적 행위자는 어차피 접근하게 됨. 핵심은 거대 기업들이 혁신을 막을 것인가임

생물무기는 모르겠지만 정보보안 역량에는 낙관적임
30년 넘게 이런 분석을 받지 못한 코드가 갑자기 백만 명의 “taviso”에 준하는 역량으로 검토되는 고통스러운 위험 기간은 있겠지만, 개발자와 방어자도 같은 도구를 쓸 수 있음. 방어 비용이 더 높은 비대칭성이 있어도 안정화되는 군비 경쟁이며, 결국 보안 속성의 형식 검증이 확대되고 같은 모델이 그 비용도 계속 낮춰 줄 가능성이 큼
증류와 오픈 웨이트 모델은 사라지지 않으며 효과적으로 금지하거나 통제할 방법도 거의 없음. 비전문가가 정보보안 능력을 갖춘 자체 최첨단 모델을 직접 증류하고 유지하는 셀프서비스 도구도 등장할 수 있음
방어자라면 이를 전제로 대응하는 편이 최선이며, 허용 여부를 논의해도 그 기간 안에 세계적 집행 체계가 생기지는 않을 것임

위험이 정말 그 정도라면 LLM을 원자폭탄처럼 취급해야 함. 미국은 다른 나라와 접촉해 누구도 더 이상 AI 모델을 개발하지 않기로 합의해야 하며, 상대의 중단을 설득할 유일한 방법은 미국이 모든 이익을 독점하지 않고 먼저 모범을 보이는 것임

생물학은 모르지만 사이버 공격 역량은 이미 공격자에게 있으며 되돌릴 수 없음
개방형인지 폐쇄형인지는 크게 중요하지 않고, 현재의 안전장치가 오탐에 치우쳐 있어도 폐쇄형 모델로 상당한 사이버 피해를 줄 수 있음
유일하게 효과적인 통제는 공격자와 방어자가 같은 역량에 접근하도록 경기장을 평평하게 만드는 것임. Dario의 제안처럼 공격자는 우회하지만 방어자는 통과할 수 없는 관문을 만들면 혼란만 보장하게 됨

Dario가 계속 놓치는 것은 사람들이 더 이상 미국이 정렬된 AI를 만들 것이라고 신뢰하지 않는다는 사실임
그의 전략 전체는 미국과 미국 정부가 예외적으로 선하다는 전제에 기대지만, 세계의 나머지 지역에는 명백히 거짓으로 보임

Bloomberg 인터뷰에서 Dario는 미국 예외주의를 믿는다고 분명히 밝혔음. 미국 군 지도부를 신뢰하기 때문에 AI가 타국 여학생 폭격에 관여해도 괜찮다고 말했음
그에 따르면 전 세계의 안전과 도덕 규칙은 미국만 작성해야 하며, 같은 인터뷰에서 미국 외교 정책을 지지하면서 중국은 “공격적이고 전쟁을 일삼는 정권”이라고 불렀음
이를 거짓으로 보는 미국인도 늘고 있지만, 과두 지배층이 미국 정부 정책의 가장 큰 수혜자이므로 선전은 계속될 것임

Anthropic이 개발을 밀어붙이면서 동시에 중단과 규제를 요구하는 논리도, 개인이 감속을 원하면서 AI 기업에서 계속 일할 이유가 있다는 점도 이해함
하지만 모두가 그렇게 생각하면 오르지 않을 수도 있는 합의를 기다리는 동안 경쟁은 계속 격화되고 아무것도 바뀌지 않으며, 경제적 유인이 모든 참여자의 지속을 합리화함
내부에서 더 구체적인 행동이 나오길 바람. 판단이 너무 복잡할 때는 기본 원칙으로 돌아가면 됨. AI가 너무 빨리 발전한다고 믿는다면 개발을 멈추고, AI 기업이 중단을 원한다면 먼저 중단해 모범을 보여야 함
다른 기업이 따라올 수도 있고, 따르지 않는 기업은 무책임해 보일 것임. 더는 죄를 짓지 않기로 한 자가 먼저 돌을 내려놓아야 함