Turing용 NInfer의 v0.3.0 버전이 출시되었으며, 이는 사용자 경험(UX) 간소화에 관한 내용입니다. 참고로, 이 엔진은 단일 모디파이드된 22GB RTX 2080 Ti에서 Qwen3.6/8-27B (그리고 오직 Qwen3.6/8-27B만)를 실행하기 위한 것입니다. 이는 VRAM만을 사용하도록 설계되었으며 시스템 RAM 오프로딩은 지원하지 않기 때문에, 35B-A3B는 지원하지 않습니다. 파인튜닝(Fine-tunes) 및 abliterations 등도 .ninfer 체크포인트 컨버터(checkpoint converter)를 사용하여 지원할 수 있습니다.
새로운 기능 - 네이티브 Windows 지원. 이전에는 Linux, WSL2 또는 Docker가 필요했습니다. 이제 Windows 사용자는 파티셔닝/리소스 해제에 대해 걱정할 필요가 없습니다 (WSL이나 Docker 인스턴스는 내부 사용 사례와 관계없이 시스템 RAM 할당을 요구합니다).
- 사전 빌드 릴리스(Prebuilt releases). 여전히 CUDA, Visual Studio 및 FFmpeg를 요구하여 시간이 걸리는 자체 컴파일이 가능하지만, 이제는 미리 컴파일된 zip 파일을 다운로드하고 단일 스크립트를 실행할 수도 있습니다.
- 간소화. RTX 5090, FP8, FP4, 그리고 35B-A3B(22GB가 아닌 32GB VRAM에 완전히 적합)를 위한 "쓸모없는" 코드 경로는 제거되어 빌드된 바이너리 크기가 1.56GB에서 0.28 GB로 줄었습니다. 이제 빌드는 몇 시간이 아니라 몇 분 만에 완료됩니다. 출력물은 비트 단위로 동일하게 유지됩니다.
얻게 되는 것: OpenAI 호환 및 Anthropic 호환 API, 그리고 명령줄 도구(command-line tool)입니다.
- 이미지 및 비디오 입력, 사고 모드(thinking mode), 그리고 CUDA Graph decode 기능.
- 기본적으로 64k 컨텍스트를 INT8 KV cache를 사용하여 지원합니다. 가중치 크기는 15.4 GiB이므로 22 GB 카드가 필요합니다.
- MTP 추측 디코딩(speculative decoding)이 기본으로 활성화됩니다.
테스트 결과 (2080 Ti 22 GB, Windows 11, 단일 요청 기준):
- 프리필(prefill), 512 토큰 프롬프트: 616 tok/s
- 프리필, 64k 토큰 프롬프트: 458 tok/s
- 디코드, MTP 없음: 27.0 tok/s
- 디코드, MTP 사용, 실제 코드 프롬프트: 47.5 tok/s (MTP 없이 26.3)
- 디코드, MTP 사용, 실제 산문 프롬프트: 28.8 tok/s (MTP 없이 26.0)
(출처: Apache-2.0, Neroued/ninfer에서 파생됨 ) /u/xrailgun 제출 [링크] [댓글]