PrismML Bonsai 27B 모델을 Jetson Orin Nano 8GB에서 사용하기에 놀라울 정도로 유용함
요약
PrismML Bonsai 27B 모델을 Jetson Orin Nano 8GB 환경에서 구동하는 성능 지표를 공유합니다. 이 설정은 전력 소모가 약 25W로 효율적이며, 복잡한 작업을 수행하기에 충분히 유용함을 보여줍니다.
핵심 포인트
- PrismML Bonsai 27B 모델을 Jetson Orin Nano에서 구동 가능
- 전력 소모가 약 25W로 효율적인 AI 설정임
- Ctx Size는 48k, Token/s는 4.31 t/s를 기록함
Ctx Size: 48k Prompt processing: 27t/s Token/s: 4.31 t/s RAM Usage (on cold start): 6.2GB with model loaded (no-mmap) 네, 매우 빠르지는 않지만 전력 소모가 약 25W인 좋은 AI 설정이며, 이제 복잡한 작업을 상당히 잘 수행할 수 있습니다. 제출자: /u/BoogerheadCult [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1