Basalt: Qwen 3.8 Flash Next를 위한 빠른 Blackwell 추론 엔진 (그리고 무료로 비전 기능을 구현한 방법)

요약

Basalt는 Qwen 3.8 Flash Next를 위해 Blackwell에 최적화된 추론 엔진입니다. 이 엔진은 비전 기능을 효율적으로 지원하며, 유휴 상태에서는 인코더가 RAM에 존재하여 VRAM 사용을 최소화합니다. 이미지가 들어오면 필요한 순간에만 VRAM으로 업로드되어 빠르고 비용 효율적인 동적 비전 처리가 가능합니다.

핵심 포인트

• Blackwell 아키텍처에 맞춰 튜닝된 추론 엔진입니다.
• 비전 인코더를 필요할 때만 VRAM에 로드하여 메모리 효율을 높였습니다.
• 유휴 상태에서는 RAM에 존재하며, 이미지 처리 시에만 VRAM을 사용합니다.
• llama.cpp 대비 최대 3배 빠른 성능을 제공합니다.