방금 윈도우(Windows)에서 실행하는 데 성공했는데, 이건 정말 미친 수준입니다. 수행하는 작업에 따라 약 550-720t/s 정도가 나옵니다. 이전에는 이런 수치를 얻으려면 배치(batching)를 하거나 에이전트(agents)를 병렬로 돌려야 했습니다. 하지만 여기서는 단일 인스턴스(single instance)만으로 이 말도 안 되는 속도를 냅니다. 여기에 No thinking 모드를 결합하면 정말 장난이 아닐 정도로 강력합니다. 거의 Cerebras 수준의 속도입니다. git 링크 (리눅스 전용이지만, open code나 deepseekv4pro 같은 것을 통해 윈도우용으로 빌드할 수 있습니다.) https://github.com/Neroued/ninfer 이것은 RTX5090을 위해 맞춤 제작되었으며, Qwen3.6 27b와 35B 두 모델만 지원합니다.