Inkling @thinkymachines, @UnslothAI의 1비트 양자화(quant) 모델로 30-40 TPS 구동
요약
Inkling, thinkymachines, UnslothAI가 1비트 양자화(quant) 기술을 적용하여 모델 구동 속도를 크게 향상시켰습니다. 이를 통해 30-40 TPS의 높은 처리량을 달성할 수 있으며, llama.cpp webui는 추론 슬라이더, HTML 미리보기 등 다양한 기능을 제공합니다.
핵심 포인트
- 1비트 양자화(quant)를 적용하여 모델 구동 속도를 높임.
- 30-40 TPS의 높은 처리량 달성 가능.
- llama.cpp webui는 추론 슬라이더, HTML 미리보기 등을 지원함.
- 250 GB VRAM 환경에서 특정 명령어로 테스트 권장.
Inkling
@thinkymachines
@UnslothAI가 구현한 1비트 양자화(quant)를 통해 30-40 TPS로 구동됩니다. 🤯
영상은 속도가 빨라졌으니, 출력을 확인하려면 끝 부분으로 이동하세요.
also llama.cpp webui는 추론 슬라이더(reasoning slider), HTML 미리보기(html preview), mcp 및 멀티모달 지원을 갖추고 있습니다.
250 GB VRAM이 있다면 다음 명령어를 실행해 보세요: llama serve -hf unsloth/inkling-GGUF:UD-IQ1_S
예산 친화적인 옵션을 보려면 http://llama.app을 확인하세요.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: MCP의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0