와... https://github.com/kacper-daftcode/vLLM-Moet 이 Docker로 제공되는 커스텀 vLLM을 사용하면, 단일 RTX 6000 Pro에서 DS V4 Flash를 실행할 수 있습니다 (듣기로는 단일 5090에서도 작동한다고 하는데, 그의 README를 확인해 보세요. 저는 직접 시도해보지는 않았습니다). 듣기로는 이 방식이 GLM 5.2와도 작동한다고 합니다 (비록 최소 두 개의 6000 Pro가 필요하긴 하지만, 그럼에도 여전히 놀랍습니다). 130K 컨텍스트 (context)를 설정했을 때, safetensor 샤딩 (sharding) 단계를 넘기기 위해 약 150 GB의 RAM이 필요했습니다. 하지만 일단 VRAM에 완전히 로드되면 GPU에 모두 담을 수 있습니다 (만약 RAM이 이보다 적다면, 로딩 단계를 통과할 수 있도록 스왑 (swap)을 생성하거나 확장하세요. 다만 초기 로딩에 20분 정도 걸릴 것을 예상해야 합니다). 몇 가지 벤치마크 (benchmarks)를 실행 중이며 (아래 참조) - 이전에 DS V4를 실행해 본 적이 없어서, 이 커스텀 엔진에서 어떤 파라미터 (parameters)를 사용해야 할지는 확실하지 않습니다. 하지만 그냥 공유하고 싶었습니다 - 이 개발자가 해낸 것은 매우 흥미로운 업적입니다. 더 작은 VRAM에 맞게 크기를 줄일 수 있었던 비결(magic sauce)은 fp4 전문가 (experts)는 유지하면서 라우팅된 전문가 (routed experts)를 2비트 (2 bit)로 압축한 것입니다 (그에게 찬사를 보냅니다, 의심할 여지 없는 천재입니다). 하지만 얼마나 실용적인지 확인하려면 더 많은 테스트가 필요합니다 (이를 활용해 코딩 세션을 진행해 볼 예정입니다).