DeepSeek, Moonshot AI, MiniMax, Ant Group의 공개 모델 6개에서 NVIDIA Blackwell과 일치하는 초기화 패턴이 발견됨. 학습에도 같은 하드웨어를 사용했을 가능성을 뒷받침하지만, 학습 전체가 Blackwell에서 이루어졌다는 증거는 아님
분석은 내부 제보가 아닌 공개 가중치에 남은 초기값을 이용함. 의사난수 시드와 GPU의 병렬 처리 구성을 함께 복원해 Hopper와 Blackwell의 서로 다른 수치 배열을 구분함
DeepSeek-V4-Flash와 Kimi K3의 초기값을 실제 Blackwell GPU에서 재현했으며, 하드웨어가 공개된 모델 24건에서도 분석 결과가 공개 정보와 일치함
특수하게 구성한 AMD MI300X도 같은 배열을 생성할 수 있음. DeepSeek-V4-Flash에서는 수치 차이로 AMD 가능성을 배제했지만, 나머지 5개에서는 가능성이 매우 낮다고 판단하는 데 그침
가중치는 칩의 위치, 소유자, 접근 경로를 밝히지 못함. 중국 밖 데이터센터에서 임대했을 수도 있으므로, 이 결과만으로 밀수나 수출 통제 위반을 확정할 수 없음
6개 모델에서 발견한 Blackwell 패턴
공개 가중치 분석에서 148개 SM 구성은 Blackwell B200/B300, 152개 SM 구성은 GB200/GB300과 일치함. SM은 GPU의 스트리밍 멀티프로세서이며, 같은 그룹 안의 개별 칩 모델까지 구분할 수는 없음
다만 11건은 학습 시작 전 체크포인트이고 관련 모델들이 독립적이지 않아, 이는 일관성 검사이지 측정된 정확도는 아님
약 6조 개의 시드와 배열 조합을 탐색했기 때문에 다중 비교에 따른 우연한 일치를 고려함
정규분포 모형에서 5시그마의 양의 일치는 약 350만 번 비교마다 한 번 발생하므로, 이 규모의 탐색에서는 충분하지 않음
전체 탐색의 우연한 일치 기준은 약 8시그마이며, 6개 모델별 가장 강한 증거는 49~1,385시그마, 보고된 개별 검사의 최저치는 20시그마임
이 수치는 통계 모형이 무작위 변동을 적절히 설명한다는 전제에서 공통 초기화 패턴을 강하게 뒷받침하며, 실제 칩과 학습 하드웨어의 식별은 별도 논증이 필요함
AMD 대안과 외부 증거
시험한 NVIDIA 구성에서 구형 칩은 148개 또는 152개 SM 배열을 만들 수 없음. 소프트웨어는 처리 장치를 덜 사용할 수는 있지만 물리적으로 없는 장치를 추가할 수 없으며, 중국 시장용 Blackwell 그래픽카드도 SM당 스레드 수가 달라 해당 배열을 생성하지 않음
AMD MI300X는 기본 304개 처리 장치를 152개씩 나누거나 148개만 쓰도록 제한하면 같은 배열을 만들 수 있음
실제 MI300X에서 이 재현을 확인했으므로 배열만으로 NVIDIA를 확정할 수는 없음
다만 비표준 구성으로 클러스터 전체를 Blackwell과 같은 처리 장치 수에 맞춰야 하므로, 나머지 모델에서도 AMD일 가능성은 매우 낮다고 봄
DeepSeek-V4-Flash에서는 AMD 대안을 배제함
AMD와 NVIDIA의 난수 계산에는 미세한 수치 차이가 있음
두 제조사의 결과가 달라지는 377개 값 중 공개 가중치는 NVIDIA와 363개가 일치했고, AMD와 일치한 값은 없었음
나머지 5개 모델에서는 이 검사로 제조사를 확정하지 못함
외부 정보도 Blackwell 접근 가능성을 뒷받침하지만, 기존 의혹에는 공개된 기술 증거가 없었음
중국 AI 기업은 GPU가 중국 밖에 있다면 원하는 Nvidia GPU를 자유롭게 사용할 수 있음. 싱가포르나 말레이시아에 있는 GPU를 원격으로 사용하는 것은 미국의 수출 통제에 어긋나지 않음.
“Megaspeed는 이 지역 시설에서 Alibaba 같은 중국 기술 대기업에 Nvidia 칩을 임대하며, 이 방식은 현행 미국 수출 통제 규정을 위반하지 않음.” [1] https://www.atlanticcouncil.org/dispatches/beyond-the-spy-sc....
나도 가장 먼저 떠올린 부분임. 다른 나라 데이터센터에서 학습하는 것을 막을 수는 없음. 중국으로 실물을 보내야 쓸 수 있는 군사 장비와는 다름.
수출 통제로 제약받는 중국 내 연산 자원 업체를 굳이 이용할 이유가 있을까? 오래전부터 해외 업체를 찾았을 가능성이 크며, 미국 안에서 학습할 수도 있음. 공개 모델 가중치도 이미 미국에서 배포하고 있음.
이 사안에 기대되는 만큼 신경이 쓰이지는 않음. 최첨단 모델 시장은 상당히 건전하게 경쟁하는 것으로 보임. 선두에 조금 못 미치는 공개 가중치 모델이 OpenAI, Anthropic 등의 혁신과 가격 경쟁을 가장 강하게 밀어붙이는 듯함.
미국의 제재와 수출 통제를 절대적인 정의로 여기고, 위반을 인류에 대한 모독처럼 받아들이는 이들이 있음. 어차피 소비자가 GPU를 살 수 없을 만큼 비싸질 거라면, AI 기업의 부를 늘리는 데만 쓰기보다 공개 가중치 모델을 만드는 데 쓰이는 편이 나음.
이 글의 저자는 소프트웨어 엔지니어에서 인플루언서로 전향한 OpenAI 출신의 대중국 강경파임. OpenAI는 Anthropic과 함께 수출 금지를 주도적으로 지지하는 곳이며, 이 글도 외형과 달리 학술 논문은 아님.
코드 링크가 없어 내용이 타당한지는 모르겠음. 여기서는 내용을 검증하지 않고 사실로 받아들이고 있어 이 점을 짚는 것임.
이 글은 Will Depue가 쓴 것임. 검색해 보니 대중국 강경파로 나오는 인물은 David Perdue인데, 성이 비슷한 다른 사람을 혼동한 것은 아닐까?
방법론은 타당하고 결과도 맞아 보임. 다만 연구 자체에서도 밝히듯, 이것이 불법 행위를 입증하지는 않음. 중국 기업이 해외 GPU를 빌려 학습하는 것도, 중국 기업에 임대할 목적으로 GPU를 사서 말레이시아에 설치하는 것도 합법임.
중국 기업이 거짓말했다는 혐의조차 없음. 사용한 칩을 공개하지 않았을 뿐이며, 학습용 칩을 공개한 모든 경우에는 연구 결과가 공개 내용과 일치함.
오히려 이걸 보니 수출 통제가 효과 없다는 확신이 드는데, 그렇다면 왜 하는 걸까?
GPU 전문 클라우드에서 대형 공개 모델을 돌려 봤는데 고객 신원 확인(KYC) 은 최소한에 그쳤음. 미국 정부가 GPU 수출을 전면 중단해도 중국 측의 서방 서버 GPU 임대를 단속하기는 매우 어려울 것임.
신원 확인을 통과하고 칩에 접근하려고 신분증을 빌리는 암시장이 생기고, 호스팅 업체는 무엇을 학습하는지 감시하며 쫓고 쫓기는 싸움을 벌이게 될 것임. 연산의 자유가 점점 줄어드는 환경으로 향하고 있으며, 정치인들은 실현하기 어려운 요구를 할 것임.
본문에도 나오듯 모델은 중국 내 GPU로 학습했을 수도 있고, 싱가포르 데이터센터 같은 해외 GPU로 학습했을 수도 있음. 해외 GPU를 이용하는 두 번째 방식은 합법이며 미국 정부도 허용함.
GPU 구입비와 추론 실행 비용을 중국 기업이 내는 경우에도 미국 정부가 허용하는 것인가?
정부가 GPU 수출을 일부러 묵인했다면 어떨까? 암시장과 회색시장에서 몇 배의 웃돈을 붙이면 구매자에게 큰 비용을 지우면서도 기술 자립 동기는 억제할 수 있음.
현실 정치적 이유로 Nvidia의 대중국 판매를 묵인하다가 새 집권 세력이 변화하는 모습을 보여주려 이를 뒤집는다면, 그게 옳거나 현명한 선택일까? 흥미로운 사고실험이지만 진실은 끝내 모를 가능성이 큼.
이 행정부의 전력을 보면, 돈을 받고 수출을 묵인했을 가능성이 높아 보임.
어째서 기술 자립 동기가 줄어든다는 것인가? 오히려 기술 자립이 생존의 최우선 과제가 됨. AI 기술 스택의 핵심 부품 하나가 적대국의 변덕에 좌우된다면 온전히 자기 기술 스택이라고 할 수 없음. 오늘은 비공식적으로 공급을 조금 열어 줘도 내일은 끊을 수 있으니, 자체 공급원을 마련해야 함.
무기 거래 규제에도 같은 일이 벌어진다고 봄. 민간 기업이 판매를 허용받은 국가에 팔고, 여러 조직을 거쳐 직접 팔 수 없던 최종 고객에게 전달하는 식임. 중간마다 몫을 챙기며 돈을 버는 이들은 못 본 척함.
시진핑이 방문했을 때 Trump는 미국산 무기를 팔겠다고 제안했음. 이 GPU들이 중국으로 가는 과정에서 Trump가 어떤 식으로든 몫을 챙기지 않았을 가능성은 사실상 0이라고 봄.
Trump는 이 사안을 알고도 1년 내내 묵혔으며, 이는 몹시 수상한 행동임. Huang을 상대로 갈취하거나 그를 비호한 것이라고 봄. 대통령 차원에서 본 최악의 부패에 해당함.
해당 GPU에 접근할 수 있다는 점은 의심하지 않음. 다만 이 하드웨어 지문이 직접 학습한 결과가 아니라, Blackwell로 학습한 모델을 지식 증류한 결과일 수도 있지 않을까?
내가 본 증류 공격은 모두 토큰 수준이었고, 로그 확률 수준도, 벡터 수준은 더더욱 아니었음. 그래서 그런 지문이 어떻게 전달될 수 있을지 모르겠음.
수출 통제에 무엇을 기대하는지 모르겠음. 효과가 없으며, 이란 드론에서도 서방 칩이 발견됨. 재판매업자가 다른 재판매업자에게 넘기는 거대한 회색시장이 있어 사실상 통제 불가능함.
냉전 때 미국도 정찰기를 만들기 위해 여러 위장 회사를 통해 소련에서 귀중한 티타늄을 들여왔음. 돈을 낼 사람이 있으면 밀수업자는 방법을 찾아냄.
금지하기만 해도 가격은 올라감. 그것만으로도 정책을 추진할 충분한 동기가 됨.
수출 통제는 본질적으로 제재 대상과 거래하는 비용을 높이는 수단임. 상대는 확보에 더 많은 자원을 투입하거나 확보 자체를 포기해야 함. 회색시장은 바로 그 틈에서 이익을 얻을 수 있기에 존재함.
극히 특수한 부품을 제외하면, 효과를 논할 때도 상품의 유입을 완전히 막기보다는 특정 사업이나 개발을 몇 개월 지연시키는 데 초점을 맞추는 편임.
2024년 Hezbollah가 겪었듯 공급망에 은밀히 개입하는 것은 충분히 가능함. CIA가 적어도 어느 정도는 상황을 파악하지 못했다면 오히려 놀라울 것임.
수출 통제는 정작 겨냥한 대상을 거의 제약하지 못한다는 것을 다시 보여 줌.
머지않아 “중국이 수출 통제하는 GPU를 사용하는 서방 AI 모델”이라는 제목을 보게 될 것임. 미국과 서방의 쇠퇴가 가파르게 진행되고 있음.