DSpark를 이용한 SM89 4x48gb 4090s 환경에서의 DeepSeek-V4-Flash 구동
요약
SM89 아키텍처 기반의 4090 GPU 4장을 활용하여 DeepSeek-V4-Flash 모델을 구동하는 데 성공한 사례를 소개합니다. DSpark와 vLLM을 사용하여 64k에서 최대 256k 컨텍스트 길이를 지원하며 안정적으로 작동함을 보여줍니다.
핵심 포인트
- SM89(RTX 4090) 4x48GB 환경에서 DeepSeek-V4-Flash 구동 성공
- vLLM을 활용한 효율적인 모델 서빙 구현
- 최대 256k의 확장된 컨텍스트 길이 지원 가능
https://github.com/yhfgyyf/vllm-deepseek-v4-sm89 누군가가 실제로 이 특정 GPU 세트에서 vLLM을 작동시켰다는 사실이 믿기지 않았지만, 여기 결과가 있습니다. 영상은 64k 컨텍스트 (context)로 작동시킨 직후의 모습이지만, 현재는 256k로 실행되고 있습니다. /u/dangerous_inference 제출 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0