요약

Luce DFlash는 GGUF 포트로 구현된 추상적 디코딩(speculative decoding) 엔진으로, 단일 RTX 3090과 같은 소비자급 GPU에서도 대규모 언어 모델(LLM)의 처리 속도를 크게 향상시킵니다. 이 기술은 Qwen3.6-27B와 같은 모델을 호스팅하며, 재학습 없이도 평균적으로 최대 2배에 가까운 추론 속도 향상을 달성했습니다. 핵심 기능으로는 TQ3_0 압축 KV 캐시를 사용하여 24GB 메모리 내에서 256K 컨텍스트 처리를 가능하게 하고, 슬라이딩 윈도우 플래시 어텐션을 적용하여 긴 컨텍스트에서도 높은 디코딩 속도를 유지하는 것이 있습니다. 이 엔진은 vLLM이나 SGLang 같은 복잡한 프레임워크 없이 독립적인 C++/CUDA 스택으로 작동합니다.

핵심 포인트

• 단일 RTX 3090에서 Qwen3.6-27B의 추론 속도를 최대 2배 향상시키는 DFlash 엔진을 개발했습니다.
• GGUF 포트를 기반으로 하며, 별도의 Python 런타임이나 llama.cpp 설치 없이 독립적인 C++/CUDA 스택으로 작동합니다.
• KV 캐시를 TQ3_0 (9.7배 압축)으로 압축하고 슬라이딩 윈도우 플래시 어텐션을 적용하여 24GB 메모리 내에서 256K 컨텍스트 처리가 가능합니다.
• 프롬프트가 길어질 경우 ubatch 크기를 자동으로 증가시키고, 긴 컨텍스트에서도 높은 디코딩 속도를 유지하는 최적화 기능을 제공합니다.
• 성능 측정은 실제 소비자 하드웨어(RTX 3090)에서 이루어졌으며, 평균적으로 1.98배의 속도 향상을 기록했습니다.