DeepSeek V4 ([#24162](https://github.com/ggml-org/llama.cpp/pull/24162)) - con

원문 발행 2026. 06. 29. 19:27원문 언어 영어AI 한국어 번역llama.cpp Releases 원문 보기

요약

llama.cpp 프로젝트에 DeepSeek V4 모델 지원을 위한 업데이트가 반영되었습니다. 모델 변환, 기본 설정, 상태 저장 및 로드 기능과 함께 성능 최적화를 위한 다양한 버그 수정 및 코드 정리가 포함되었습니다.

DeepSeek V4 (#24162)

convert: dsv4 변환 추가
기본 설정 (basic setup) 추가
llm_graph_input_dsv4 추가
상태 저장 및 로드 (save-load state) 추가
sinkhorn eps 추가 - @fairydreaming에 의한 수정
rope 수정 추가
데드 코드 (dead code) 정리
버그 수정
pro 모델 지원: @fairydreaming에 의해 추가됨
불필요한 V 캐시 (V cache) 제거
채팅 템플릿 (Chat template)
디버깅 잔여물 제거
아키텍처에 기반한 템플릿 인라이닝 (inlining templates) 메커니즘 추가
s/deepseek-v4-flash/deepseek4/g
s/deepseek-v4-flash/deepseek4/g 계속됨
그래프 재사용 (graph reuse) 활성화
FA 활성화
llama 아키텍처 테스트 수정
이름 변경
antirez ds4 GGUF와의 호환성
super class 메서드 호출을 통해 set_gguf_parameters()를 단순화하고, moe.score_func를 expert_gating_func로 교체함.
최악의 경우를 대비한 kv-cache 예약
max split inputs 되돌리기
리뷰 코멘트 반영
FA 활성화를 위한 패딩 (padding) 추가
plan.n_kv의 최종 값만 256으로 패딩
내장 cpp 채팅 템플릿 제거
cont: cpp 내장 템플릿 제거
오래된 테스트 제거
ggml_view_3d()를 ggml_reshape_3d()로 교체

Co-authored-By: Georgi Gerganov [email protected]

Co-authored-by: Piotr Wilkin [email protected]
Co-authored-by: Stanisław Szymczyk [email protected]
Co-authored-by: Xuan Son Nguyen [email protected]
Co-authored-by: fairydreaming [email protected]
Co-authored-by: Georgi Gerganov [email protected]

macOS/iOS:

Linux:

Linux:

Android:

Windows:

openEuler:

UI:

AI 자동 생성 콘텐츠