본문으로 건너뛰기
r/LocalLLaMA분석2026. 11. 16. 05:02
Basalt 0.4.0: 더 많은 모델 지원, 여전히 빠른 속도 - 5090에서 Qwen 27B가 최대 770 tok/s 달성 대표 이미지

Basalt 0.4.0: 더 많은 모델 지원, 여전히 빠른 속도 - 5090에서 Qwen 27B가 최대 770 tok/s 달성

원문 발행 2026. 11. 16. 02:30원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

Basalt 0.4.0 버전이 출시되어 멀티 모델 및 라우터 지원 기능을 추가했습니다. Qwen 3.8 27B를 통해 구조화된 출력에서 최대 776 tok/s의 빠른 속도를 달성했으며, BF16 대비 높은 정확도와 262K 컨텍스트까지 지원하는 등 기능이 대폭 개선되었습니다.

핵심 포인트

  • Basalt 0.4.0 출시로 멀티 모델 및 라우터 지원 기능을 구현했습니다.
  • Qwen 3.8 27B를 활용하여 구조화 출력에서 최대 776 tok/s의 속도를 달성했습니다.
  • 비디오, 파일 첨부 등 다양한 모달리티와 262K 컨텍스트까지 지원합니다.
  • BF16 대비 top-1 정확도(92.8%)를 유지하며 효율성을 높였습니다.

AI 자동 생성 콘텐츠

본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0