Betelgeuse가 RTX 3060 12GB + 16GB RAM에서 DeepSeek V4.1 Flash Q8_XL (1017)을 19

요약

본 기사는 대규모 MoE 모델(DeepSeek V4.1 Flash)을 소비자급 하드웨어에서 구동할 때 발생하는 TTFT 및 프리필 병목 현상을 다룹니다. Betelgeuse 시스템은 위치 불변 캐시 분할, 단일 패스 레이어 메이저 프리필 등 세 가지 아키텍처 개선을 적용하여 이 문제를 해결했습니다. 그 결과, 프롬프트 처리 속도가 3~6 tok/s에서 최대 61.80 tok/s까지 크게 향상되었습니다.

핵심 포인트

• 대규모 MoE 모델의 out-of-core 스트리밍 구동에 초점을 맞춘 기술 분석입니다.
• 기존 방식은 프롬프트 처리(PP) 시 GPU 유휴 상태를 유발하는 병목 현상이 있었습니다.
• Betelgeuse는 캐시 분할, 단일 패스 프리필 등 세 가지 아키텍처 개선을 적용했습니다.
• 성능 개선 결과, Warm Prompt Processing 속도가 최대 61.80 tok/s까지 향상되었습니다.