오픈 웨이트 모델에 대한 우리의 입장

Anthropic CEO Dario Amodei 작성

지난 며칠 동안 오픈 웨이트 모델, 특히 중국의 모델들에 대해 많은 논의가 있었습니다. 보고서에 따르면 일부 미국 공무원들은 미국 기업들이 중국산 오픈 웨이트 모델을 사용하는 것을 금지하는 방안을 고려하고 있다고 합니다. 이에 대응하여 많은 기술 회사들이 오픈 웨이트 모델을 지지하는 서한에 서명했으며, 심지어 어떤 사람들은 Anthropic이 사업 보호 수단으로 오픈 웨이트 모델 사용을 금지하려 한다고 비난하기도 했습니다. 제 과거 글들을 읽으신 분이라면 제가 그러한 금지를 유용한 조치로 여기지 않는다는 것을 아실 것입니다. 하지만 의심의 여지가 없도록 분명히 밝히겠습니다: Anthropic은 오픈 웨이트 모델에 대한 금지를 주장한 적이 없습니다.

위험한 능력이 없는 오픈 웨이트 모델은 공공재입니다. 이들은 실행하는 데 필요한 컴퓨팅 자원 외에는 비용이 들지 않으며, 기업, 개발자 및 연구자들에게 가치를 제공합니다.

보호주의적 금지는 제가 가장 심각하게 우려하는 국가 안보 문제를 해결하지 못할 것입니다. 구체적으로 저는 두 가지 악몽 같은 시나리오를 걱정하고 있습니다. 이 내용은 6개월 전 에세이 The Adolescence of Technology에서 제시했으며, 수년 동안 일관되게 유지해 온 입장입니다:

• 저의 주된 우려는 권위주의 정부들—중국 공산당(CCP)에 국한되지 않지만, CCP가 명백히 가장 유능한 위협임—이 미국보다 더 강력한 AI 모델을 구축하고, 이를 이용해 영구적인 군사적 우위를 점하거나 자국민에게 엄청나게 깊은 억압을 가하는 데 사용할 위험입니다. 이 우려는 미국 정부 내에서 광범위하게 공유되고 있습니다: 반스 부통령은 작년 파리에서 “권위주의 정권들이 AI를 탈취하고 사용하여 군사, 정보 및 감시 능력을 강화했다”고 경고했으며, 정보 공동체의 2026년 연례 위협 평가(Annual Threat Assessment)는 “다른 글로벌 강대국들의 AI 분야의 강력한 진전이 미국의 경제적 경쟁력과 국가 안보 우위에 도전하고 있다”는 점을 발견했습니다. 이러한 모델들이 오픈 웨이트로 공개되는지 여부, 그리고 미국 기업들에 의해 사용되는지 여부는 무관합니다. 사실, 가장 위험한 모델은 비밀리에 훈련되어 인민해방군(People’s Liberation Army)에만 드론 사용을 위해, 국무안전부(Ministry of State Security)에만 감시 및 억압 목적으로 전달되는 모델일 수 있습니다.
• 저의 두 번째 우려는 강력한 AI 모델이 사이버 공격이나 생물학적 공격을 수행하는 데 오용되거나 심각한 정렬 문제(alignment problems)를 가질 위험입니다. 오픈 웨이트 모델—중국에서 오든 다른 곳에서 오든 상관없이—은 폐쇄형 모델보다 잠재적으로 더 높은 위험을 제시할 수 있습니다. 왜냐하면 여기에 안전장치(guardrails)를 적용하거나 사용량을 모니터링하기가 매우 어렵고, 일단 가중치(weights)가 공개되면 회수할 수 없기 때문입니다.

2. 하지만 이러한 모델의 미국 기업에 의한 사용 금지는 이 위험을 해결하는 데 아무런 도움이 되지 않습니다. 왜냐하면 악의적인 행위자들(bad actors)은 합법적인 미국 기업일 가능성이 낮기 때문입니다. 이는 미국 AI 기업들에게 경쟁으로부터 보호를 제공할 수는 있겠지만, 그것이 결코 저의 목표는 아니었습니다.

이러한 우려들을 해결하기 위해, 저는 제가 그리고 Anthropic이 지속적으로 주장해 온 다음 세 가지 조치를 지지합니다:

우리는 중국에 강력한 칩이나 칩 제조 장비를 판매해서는 안 되며, 이러한 칩에 접근하기 위해 사용되는 만연한 밀수와 우회 방법을 단속해야 합니다. 중국은 국내 생산 능력이 제한적이며, 따라서 스케일링 법칙(scaling laws)으로 인해 미국산 칩 없이는 미국보다 더 강력한 모델을 구축할 수 없습니다. 이것이 위협 #1을 차단하는 가장 효율적이고 직접적인 방법이며, 또한 미국의 법의 사정권 밖에 있는 모델의 학습을 방해함으로써 간접적으로 위협 #2에도 도움이 됩니다.우리는 산업 규모의 증류(distillation) 작업을 단속해야 합니다. 증류는 모델을 처음부터 학습시키는 것보다 훨씬 컴퓨팅 효율적인 과정입니다. 이는 중국이 보유한 칩 개수만으로는 일반적으로 가능할 수 있는 것보다 훨씬 더 나은 모델을 구축하도록 허용하며, 따라서 칩 금수를 부분적으로 회피하게 만듭니다. 증류가 중국공산당(CCP)이 미국과 동등하거나 우월한 AI 역량을 얻도록 허용하지는 않지만, 몇 달 안에 중국의 최전선을 미국의 최전선 근처로 끌어올릴 수 있습니다. 이러한 작업을 수행하는 많은 기업들이 오픈 웨이트 모델을 출시한다는 것은 사실이지만—오픈 웨이트 자체보다 더 중요한 것은 그 작업이 미국을 추월하려는 권위주의 국가에 의해 지원된다는 점입니다. 우리는 이러한 행위를 억제하기 위한 정책적 개입이 필요합니다. 오픈 웨이트 모델에 대한 전면적인 금지는 올바른 해결책도 아니며 우리가 요구한 것도 아닙니다.충분히 능력이 있는 모든 모델, 오픈(open)이든 클로즈드(closed)이든 관계없이 의무 안전성 테스트를 거쳐야 합니다. 위협 #2에 대처하는 가장 좋은 방법은 출시 전에 사이버, 생물학적, 정렬(alignment) 위험에 대해 모델을 직접 테스트하는 것입니다.

저는 이 아이디어가 사실 컨센서스에 가깝다고 생각합니다. 저는 최근 몇 달 동안 트럼프 행정부가 이러한 방향으로 나아가고 있다는 점과, 국가 기원이나 오픈 모델인지 클로즈드 모델인지를 막론하고 가장 유능한 모델들에 대해 그러한 테스트를 적용하겠다는 최근 산업 제안들 모두에 고무되었습니다 (스타트업 및 학계의 덜 유능한 모델들은 완전히 면제하는 것을 전제로 합니다). 오픈 모델이 증가된 위험을 초래하는지 여부, 그리고 그 위험이 완화될 수 있는지 여부는 미리 결정되기보다는 테스트를 통해 밝혀져야 하는 문제입니다. 그리고 AE Studio와 Anthropic의 최근 연구에서 볼 수 있듯이, 모듈식 훈련 전략(modular training strategies)을 포함하여 오픈 가중치 모델(open-weights models)의 안전성을 개선할 수 있는 유망한 방법들이 있을 수 있습니다. 효과적이려면 테스트가 글로벌해야 한다는 점에 유의해야 하며, 이는 중국 공산당(CCP)까지도 동참해야 함을 의미합니다. 저는 이것이 실제로 가능할 수 있다고 생각합니다. 제가 The Adolescence of Technology에서 썼듯이, AI 생물학 무기(AI biological weapons)를 방지하기 위한 제한적인 협력은 중국의 이익에도 부합하기 때문에 가능할 수 있습니다.

이것이 오픈 레터로 이어집니다. 저는 그 내용의 상당 부분에 동의합니다. 즉, 오픈 웨이트 모델은 AI 경제에 대한 접근성을 확대하고, 적어도 일부 사용 사례에서는 경쟁을 강화하며, 고객에게 더 큰 통제권을 부여한다는 것입니다. 증류(distillation)에 대한 우려는 제가 위에서 설명한 것과 같은 목표 지향적인 법적 및 상업적 프레임워크를 통해 해결되어야 합니다. 하지만 저는 오픈 레터가 주장하는 것처럼, 오픈 웨이트 모델이 반드시 안전장치 개발을 더 쉽게 만들거나, 기능에 대한 광범위한 접근성이 방어자에게 공격자보다 반드시 도움이 된다는 주장에 동의하지 않습니다. 오히려 그 반대일 가능성이 더 커 보입니다. 예를 들어, 저는 생물학 분야에서 강력한 공격자-방어자 비대칭성(attacker-defender asymmetry)이 발생할까 우려합니다. 충분히 능력이 있는 모델이 널리 사용 가능한 재료로 팬데믹 수준의 바이러스를 빠르게 무기화할 수 있지만, 이러한 인자에 대한 방어는 최상의 경우에도 다년간의 작전 과제이기 때문입니다(Operation Warp Speed에서 보았듯이)5. 이러한 질문들은 사전에 가정되는 것이 아니라 엄격한 출시 전 테스트를 통해 경험적으로 답변되어야 합니다.

저와 Anthropic의 입장을 요약하자면, 우리는 오픈 웨이트 모델이라는 범주 자체에 대한 금지(ban)를 옹호하거나 주장하는 바가 아닙니다. 대신 강력한 칩이 권위주의적인 손에 들어가는 것을 막고, 산업 규모의 증류를 중단시키며, 오픈 모델과 클로즈드 모델을 불문하고 충분히 능력이 있는 모든 모델에 안전성 테스트를 요구하는 데 집중해야 합니다.

*2024년 7월 28일 수정: 언급된 모듈식 학습 전략(modular training strategies)에 대한 연구는 Anthropic과 AE Studio 간의 협력임을 명시하도록 업데이트되었습니다.

관련 콘텐츠

독립 평가자 업데이트

당사 시스템의 안전성을 평가하기 위해, Anthropic은 선도 AI 모델을 평가하는 비영리 단체인 METR의 직원 수준 접근 권한을 부여하고 있으며, Hugging Face를 포함하여 몇몇 다른 조직들과 초기 논의를 진행하고 있습니다.

더 읽어보기### 2026년 미국 중간선거 대비

올해 초에 저희의 선거 안전장치(election safeguards)에 대한 업데이트를 공유한 바 있습니다. 여기서는 올해 미국 중간선거를 앞두고 이러한 안전장치를 어떻게 계속 강화했는지 설명합니다.

자세히 보기### Anthropic, 싱가포르 사무소 개설 및 싱가포르 정부와 MOU 체결

Anthropic은 싱가포르에 사무소를 열었으며, 안전하고 책임감 있는 AI 도입을 촉진하기 위해 해당 국가 정부와 양해각서(MOU)를 체결했습니다.

자세히 보기