tandem.cpp 업데이트 — 16 GB 카드가 장착된 64 GB PC에서의 DeepSeek-V4.1 성능 및 AMD (ROCm) 지원

요약

tandem.cpp는 llama.cpp를 위한 패치로, VRAM 용량을 초과하는 MoE 모델을 GPU와 CPU가 협력하여 빠르게 실행할 수 있게 합니다. 테스트 결과, 특히 모델 크기가 메모리보다 클 때 일반 llama.cpp 대비 1.4~2.1배의 성능 향상을 보였습니다. 또한 AMD ROCm 지원이 추가되어 다양한 하드웨어 환경에서 높은 효율성을 입증했습니다.

핵심 포인트

• tandem.cpp는 MoE 모델의 비활성 전문가를 CPU가 처리하여 VRAM 한계를 극복합니다.
• 모델 크기가 VRAM/RAM을 초과할수록 tandem.cpp의 성능 이점이 가장 큽니다.
• DeepSeek-V4.1 등 주요 모델에서 일반 llama.cpp 대비 높은 성능 향상을 기록했습니다.
• AMD ROCm 지원이 추가되어 RX 7900 XTX에서도 동급 수준의 고성능을 보여줍니다.