공유할 중대한 결과를 가지고 있습니다.
저는 중국의 상위 4개 AI 연구소인 DeepSeek, Moonshot, MiniMax, 그리고 Ant Group이 최신 모델들을 수출이 금지된 NVIDIA의 가장 진보된 Blackwell 칩을 기반으로 구축했다는 결정적인 포렌식 증거를 발견했습니다.
이것은 비상식적으로 들릴 수 있지만, 저는 거의 모든 AI 모델이 해당 모델을 학습시킨 GPU의 숨겨진 서명(signature)을 가지고 있다는 것을 알아냈습니다. 모델이 처음 설정될 때, 그 가중치(weights)의 시작 값들은 특정 GPU에 의존하는 패턴으로 배열됩니다. 각 GPU와 시드 번호(seed number)의 조합은 고유한 패턴, 즉 모델 생성에 사용된 하드웨어의 일종의 지문을 만들어냅니다. 이 패턴의 흔적은 학습 과정을 거쳐 공개된 모델까지 살아남습니다.
다시 말씀드리지만, 이 증거는 어떤 내부 정보나 유출에 기반하지 않습니다. 이는 회사들이 직접 공개한 모델 가중치에 대한 포렌식 분석에 근거합니다.
저는 칩 레이아웃과 시드 번호의 6조 개 이상의 조합을 검색하고 이를 오픈 웨이트(open-weights) 모델들과 대조했습니다. 그 과정에서 DeepSeek-V4-Pro, Kimi K3, MiniMax-M3를 포함한 6개의 중국 AI 모델이 NVIDIA Blackwell 시스템으로 초기화되었다는 결정적인 증거를 발견했습니다. 이 중 4개 모델은 NVIDIA의 플래그십 액체 냉각 랙 스케일 시스템에 사용되는 Grace Blackwell, GB200 및 GB300 부품과 일치합니다.
저는 이후 실제 하드웨어에서 이러한 결과를 검증했습니다. 제가 복구한 시드를 사용하여 수정되지 않은 PyTorch를 실행했을 때, Blackwell B300은 DeepSeek-V4-Flash의 손대지 않은 시작 가중치를 비트 단위로 재현했으며, 임대한 GB200은 Kimi K3를 0.999995의 상관관계(correlation)로 재현했습니다. 반면, Hopper H100은 DeepSeek-V4-Flash 중 어느 것도 재현하지 못했고, 시드를 하나 변경하자 일치도가 깨졌습니다. (참고로 DeepSeek의 시드는 953049583입니다.) 또한 이 방법론은 개발자들이 사용했다고 밝힌 하드웨어와 24개의 알려진 오픈 웨이트 모델과도 일치하는 것으로 검증되었습니다.
이 결과들이 우연의 일치일 가능성은 극히 희박합니다. 6조 가지 조합을 통틀어, 가장 좋은 우발적 일치는 약 8 시그마(sigma)에 도달하는 것이 전부입니다 (즉, 무작위 확률이 만들어낼 수 있는 수준보다 8 표준편차 이상). 실제 일치도는 49에서 1,385 시그마 범위에 걸쳐 있으며, 가장 약한 단일 테스트조차도 20을 기록합니다.
이것들은 데이터센터 규모의 훈련 실행(training runs)이었습니다. 출시 일정 및 모델 세부 사항에 대한 분석을 통해, 저는 가장 큰 모델인 Kimi K3와 DeepSeek-V4-Pro가 각각 2,000개에서 3,000개의 Blackwell GPU를 사용했다고 추정합니다. 이 정도 규모의 클러스터는 구매하는 데만 개당 약 1억 5천만 달러에서 2억 달러가 들며, 실험적 컴퓨팅이나 기타 비용을 제외하고도 이 연구소들만 합쳐도 5억 달러 이상의 수출 통제 대상(export-controlled) GPU를 차지할 것입니다. 우리는 수십억 달러에 달하는 수출 통제 대상 GPU 지출을 목격할 가능성이 매우 높습니다.
저는 이 결과에 대해 매우 확신하며, 이는 OpenAI와 Anthropic의 선임 연구원들에 의해 독립적으로 검증되었습니다. 전체 보고서는 https://t.co/YOtzND0Jqk에서 읽을 수 있습니다.
저는 이와 같은 다른 형태의 체크포인트 포렌식(checkpoint forensics)을 통해 이 모델들에 대해 더 많은 것을 파악했으며, 곧 더 많은 내용을 공유할 예정입니다.
