MiMo Pro를 Jetson AGX Thor에서 구동한 경험 공유

Jetson AGX Thor에서 MiMo Pro를 처음 돌려본 기록입니다. 토큰당 0.646 t/s의 속도였지만, 기술적으로는 로드되고 실행되었으니 성공으로 간주합니다. 모든 디코더 레이어(decoder layer), 라우팅된 전문가(routed expert), SSD 읽기(SSD read)가 추적 가능하고 단계별로 재생할 수 있습니다. 여기서는... 뭐라고요? 모델 크기는 약 566GB (FP8)이고, 손으로 뽑아내는 소시지 제조 공장 같은 엄청난 속도와 아키텍처를 가지고 있어, 추론(inference) 도중에 디스크에서 읽어오면서 128GB의 메모리를 힘겹게 사용했습니다. 괜찮다고 생각했지만, 혹시 공장 소시지 제조 속도를 달성할 수 있을지 좀 더 자세히 살펴보기로 했습니다. 작은 로컬 소시지 공장처럼요... 물론 Dario가 괜찮다면 말이죠.. 그 MiMo를 받은 상자는 할로윈까지는 버틸 것 같습니다. ...불쌍한 친구, 빨리 나아라 Dario! /u/Oswald_Hydrabot 님이 제출함 [link] [comments]