Basalt: Blackwell 환경에서 Qwen 3.8 Flash-Next를 위한 NVFP4 및 빠른 Prefill 지원

요약

본 기사는 Basalt 프레임워크가 NVFP4 지원과 향상된 Prefill 성능을 통해 Qwen 3.8 Flash-Next 모델의 효율성을 높인 내용을 다룹니다. 특히, 새로운 .basalt 패키지는 기존 NVIDIA 전문가를 유지하고 밀집 레이어를 Q6_K로 저장하여 구조 및 산문 생성 속도를 크게 개선했습니다. 또한, Prefill 성능을 대폭 향상시켜 첫 토큰까지 걸리는 시간을 단축시켰으며, Infernix 대비 디코드 및 Prefill 모두 우수한 성능 향상을 입증했습니다.

핵심 포인트

• Basalt가 NVFP4를 네이티브로 지원하며 모델 효율성을 높였습니다.
• 구조 생성 304 tok/s, 산문 생성 183 tok/s 등 높은 속도를 기록합니다.
• 64K 프롬프트에서 Prefill 성능을 대폭 향상시켜 사용자 경험을 개선했습니다.
• Infernix 대비 디코드 및 Prefill 모두 1.3배 이상 성능이 향상되었습니다.