요약(tldr); 우리는 K3를 A100(네, 맞습니다. 버텨낼 수 있을지 확인해 볼 예정입니다), H200 및 B300에서 호스팅할 예정입니다. 이번 주말에 B300 클러스터를 구축하는 동안 A100 및 H200에 대한 결과를 기대해 주세요. 아마 다음 주쯤 결과가 나올 수도 있습니다. 가중치는 오늘 Hugging Face에 올라올 예정입니다 (Moonshot은 7월 27일을 약속했습니다). 그들의 플랫폼 문서에서 이미 파악한 내용은 다음과 같습니다: 총 파라미터(Params) 2.8t, 896개의 전문가(experts)와 토큰당 16개의 활성 전문가를 가진 MoE (Mixture of Experts), 1M 컨텍스트(context), 비전(vision) 기능입니다. 그들이 MXFP4에서 양자화 인식 훈련 (quantization-aware training)을 수행했기 때문에 다운로드 크기는 약 1.4 TB 정도일 것입니다. 우리는 앉아서 메모리 요구 사항을 계산해 보았습니다. 아마 모두가 가중치를 내려받으려 할 것이기에 그 내용을 공유합니다. 우리에게는 A100 80GB, H200 및 B300 용량이 있으며, 세 가지 모두에서 구동할 계획이었습니다. 하지만 실제로 메모리 계산을 해보았습니다. 8x A100은 640 GB를 제공합니다. 가중치는 약 1.4 TB입니다. 이는 KV 캐시(KV cache)를 할당하기도 전에 이미 3개의 노드(node)가 필요하다는 것을 의미합니다. 게다가 Ampere 아키텍처에는 FP4나 FP8 텐서 코어 (tensor cores)가 없으므로, 역양자화 (dequantizing)를 하거나 이번 릴리스의 타겟이 아니었던 INT4 커널 (kernels)을 실행해야 합니다. 누군가는 실제 수치를 가지고 있어야 하기에 우리는 여전히 벤치마크를 진행할 것이지만, 상황이 좋지 않을 것으로 예상합니다! 8x H200은 약 1.13 TB이므로 여전히 하나의 노드에 들어가지 않습니다. 최소 2개 노드 설정이 필요하며, 매 토큰마다 상호 연결 (interconnect) 비용이 발생합니다. 8x B300은 약 2.3 TB이므로, 긴 컨텍스트 KV 캐시를 위한 여유 공간을 확보하면서 전체 모델이 단일 노드에 들어가는 유일한 구성입니다. 그리고 Blackwell은 네이티브 FP4를 지원하며, 이는 Moonshot이 양자화한 명확한 대상입니다. 이 B300들은 이번 주말에 활성화될 예정이며, 우리는 이번 주말에 클러스터를 구축할 것입니다. 하드웨어를 미리 예약하는 모든 사람은 조건을 모른 채 진행하고 있습니다. 그리고 Moonshot 자체의 모델 카드 (model card)는 약점에 대해 이례적으로 솔직합니다: 에이전트 하네스 (agent harness)가 사고 이력 (thinking history)을 잘라내면 품질이 저하되며, 모호한 상황에서 질문하는 대신 행동하려는 경향이 있고, 벤치마크가 근접한 경우에도 채팅 경험은 여전히 Fable 5와 Sol에 뒤처진다는 점을 인정하고 있습니다.

이번 주 말까지 세 가지 GPU 구성 모두에 대한 tok/s (초당 토큰 수), TTFT (첫 토큰 생성 시간), 그리고 M 토큰당 비용 수치를 제공할 예정입니다. 테스트 매트릭스(test matrix)에 포함되기를 원하는 특정 배치 크기(batch size), 컨텍스트 길이(context length) 또는 병렬화 설정(parallelism setup)이 있다면 댓글을 남겨주세요. 추가하도록 하겠습니다. /u/qubridInc 제출 [link] [comments]