TensorSharp는 CUDA, Vulkan, Metal, OpenAI 호환 API, 연속 배치(continuous batching), 투기적 디코딩(speculative decoding) 및 멀티모달(multimodal) 지원을 갖춘, GGUF LLM을 로컬에서 실행하기 위한 오픈 소스 네이티브 .NET 추론 엔진입니다. 이제 TensorSharp는 여러 GPU에 걸친 Megatron 스타일의 텐서 병렬 처리 (tensor parallelism)를 지원합니다. 이는 direct CUDA, GGML CUDA, GGML Vulkan 및 멀티 노드(multi-node) 설정에서 작동합니다. NVLink 없이 PCIe를 통한 2× RTX 2000 Ada 16 GB GPU에서의 벤치마크 결과는 다음과 같습니다: 모델 | 1 GPU Prefill / Decode | TP=2 Prefill / Decode

Gemma 4 E4B Q8_0 | 2760 / 37.3 tok/s | 2488 / 51.7 tok/s
Gemma 4 26B-A4B IQ4_XS | 1845 / 48.5 tok/s | 2537 / 51.2 tok/s
Qwen 3.5 9B Q8_0 | 1461 / 23.1 tok/s | 399 / 24.4 tok/s
Qwen 3.5 35B-A3B IQ4_XS | 용량 부족 (Does not fit) | 184 / 18.1 tok/s

멀티 GPU 시스템에서 Qwen 성능을 최적화하는 작업을 계속하고 있으며, DeepSeek V4 지원도 곧 추가될 예정입니다. 다음과 같이 시도해 보세요: TensorSharp.Cli --model model.gguf --backend ggml_cuda --tp 2

GitHub: https://github.com/zhongkaifu/TensorSharp
TensorSharp를 확인해 주시고 프로젝트에 스타(star)를 눌러주셔서 감사합니다! 모든 피드백은 정말 큰 도움이 됩니다.