Nex2 mini Phase Twin - 16gb footprint, 30b 모델
요약
Intel A770 그래픽 카드를 위해 최적화된 Nex2 mini Phase Twin 모델이 출시되었습니다. 30B 모델임에도 16GB VRAM 환경에서 효율적으로 작동하며, 단일 또는 듀얼 GPU 구성에 따라 최적의 성능을 발휘합니다.
핵심 포인트
- Intel A770 사용자를 위한 로컬 LLM 최적화 모델
- 단일 A770 카드에서 89tok/s의 높은 추론 속도 기록
- 사용자 하드웨어에 맞춘 커널 최적화 및 캘리브레이션 지원
- 16GB VRAM 환경에서 30B 모델 구동 가능
A770 사용자들을 위해 이것을 만들었습니다 (로컬 LLM (Local LLM)에 대한 애정을 전파하기 위해 Intel 지원에 참여하고 있습니다) - 보고된 바에 따르면 결과가 좋습니다. 단일 카드로도 잘 작동하도록 설정되었으며, 2개의 카드를 사용할 때 진정한 성능을 발휘합니다. 사용자의 하드웨어에 따라 적절한 커널을 사용하고 기기에 맞춰 최적화(calibrate)됩니다. 방금 막 출시되었으니 문제가 있다면 알려주세요. 감사합니다 ❤️
https://huggingface.co/Frosty40/Nex-N2-mini-Turbo-Phase-Twin
단일 A770 테스트 결과 Nex2 Mini Turbo PT - 16gb 카드에서 89tok/s 기록.
제출자: /u/prince_pringle
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0