DeepSeek-V4.1-Flash-1017 (MIT, 총 763B, 1M 컨텍스트)이 공개되었습니다. 공식 카드에 기재된 수치는 매력적이지만, 모두 자체 측정치입니다(※1).
발표 주체가 다르면 숫자를 나란히 비교할 수 없습니다. 예를 들어 Terminal-Bench 4.0의 GLM-5.3은 DeepSeek 표에서는 37.9이고 Mistral 발표에서는 40%로, 수치가 달라집니다(※1, ※2).
따라서 본고에서는
**자신의 태스크에서 구형 모델과 신형 모델을 A/B 비교하는 작은 평가 하네스(Evaluation Harness)**를 만듭니다. OpenAI 호환 엔드포인트라면 무엇이든 측정할 수 있습니다. - 이 하네스는 모의 서버(Mock Server)로 동작을 확인했습니다 (Python 3.13, openai SDK 3.44.0, 2026-11-04).
DeepSeek-V4.1-Flash-1017 자체는 검증되지 않았습니다.
모델 카드에 기재된 내용을 바탕으로 평가와 관련된 부분만 정리합니다(※1).
- 샘플링 권장값은 temperature 1.0, top_p 1.0입니다.
- max_tokens는 256K 이상을 권장하며, 1M 토큰의 컨텍스트를 가집니다.
- Jinja 형식의 채팅 템플릿이 없어 프롬프트 구성은
encoding.py (Python 참조 구현)에 의존합니다. - 서빙 방식으로는 vLLM, SGLang, Docker Model Runner가 기재되어 있습니다.
즉, 서버 측에서 메시지를 올바르게 구성하고 있는지가 가장 먼저 확인해야 할 지점입니다. 벤치마크 수치를 보기 전에, '평범한 질문에 평범하게 답변하는지'를 보는 것이 우선입니다.
구형 모델과의 차이는 모델 카드 상으로는 Terminal-Bench 4.0이 31.2에서 42.3으로 (+11.1), DeepSWE v1.1이 74.2에서 77.0으로 (+2.8) 증가한 것입니다(※1). 하지만 이것이 자신의 업무에 유효한지는 별개의 문제입니다. 이유는 세 가지가 있습니다.
- 벤치마크의 과제와 자신의 태스크는 다릅니다.
- 평가 하네스나 설정이 바뀌면 수치는 움직입니다.
- 속도, 토큰 양, 실패하는 방식은 표에 나타나지 않습니다.
API의 deepseek-flash는 이름과 가격을 유지한 채 내부 내용만 1017 버전으로 교체되었다는 정보도 있습니다(※3, 제3자 사이트). 무심코 동작이 바뀌었더라도, 손안에 평가 세트가 있다면 감지할 수 있습니다.
JSON Lines 형식으로 작성하며, 한 줄이 하나의 케이스를 담당합니다. expect 필드에는 응답에 포함되어야 할 문자열을 넣습니다. 처음에는 단순한 문자열 일치로 충분합니다.
{"id":"a","prompt":"2+2는?","expect":"4"}
{"id":"b","prompt":"3+3는?","expect":"6"}
실제 태스크에서는 다음과 같은 케이스를 20~50개 모으는 것이 좋습니다.
- 평소 요청문 (사내에서 실제로 사용되는 것)
- 과거에 모델이 틀렸던 예시
- 긴 입력 (컨텍스트를 사용하는 경우)은 별도로 분리합니다.
다음 코드는 OpenAI 호환 엔드포인트에 동일한 케이스들을 순차적으로 전송하여 합격/불합격 여부, 소요 시간, 출력 토큰 수를 집계하는 코드입니다.
import json, time, statistics, sys
from openai import OpenAI
...
포인트는 세 가지가 있습니다.
temperature와 top_p는 모델 카드 권장값(1.0)을 기본값으로 설정했습니다. 모델마다 변경하려면 인수로 전달합니다. - 예외가 발생해도 중단하지 않고, err에 기록합니다. 타임아웃이나 형식 오류 자체도 평가 자료가 됩니다. - 비교 대상은 이름,URL,모델명 형태로 여러 개 지정할 수 있습니다.
실제 모델이 없어도 하네스의 배선(구조)을 확인할 수 있습니다. 다음 모의 코드는 '2+2'에 대해서만 정답을 반환합니다.
import json
from http.server import BaseHTTPRequestHandler, HTTPServer
...
실행 결과는 다음과 같았습니다. 2건 중 1건이 정답으로, 기대했던 바와 같습니다 (2026-11-04, 작성자 환경).
$ python3 ab_eval.py cases.jsonl "mock,http://127.0.0.1:8765/v1,mock-model"
mock: pass 1/2 (50%), median 0.04s, avg tokens 7, errors 0
여기부터는 미검증 절차입니다. 모델 카드에 기재된 내용과 vLLM의 일반적인 사용법을 기반으로 합니다.
가중치 크기는 총 763B 중 F8_E4M3이 중심이라면 대략 700GB대(필자의 단순 계산이며, 텐서 형식이 혼재되어 정확하지 않습니다)가 될 것입니다. 여러 장의 하이엔드 GPU가 필요하며, 단일 GPU로는 작동하지 않습니다. 집에 없다면 추론 프로바이더를 통해 사용해야 합니다. 모델 카드에는 Novita가 기재되어 있습니다(※1).
직접 구축할 경우의 형태는 다음과 같습니다(미검증).
vllm serve deepseek-ai/DeepSeek-V4.1-Flash-1017 \
--tensor-parallel-size 8 \
--max-model-len 262144
이 모델 고유의 옵션이 필요한지는 필자는 확인하지 못했습니다. 만약 실행되지 않는다면, 모델 카드의 inference 폴더와 vLLM 문서를 참고해 주시기 바랍니다.
python3 ab_eval.py cases.jsonl \
"old,https://YOUR-OLD-ENDPOINT/v1,YOUR-OLD-MODEL" \
"new,http://localhost:8000/v1,deepseek-ai/DeepSeek-V4.1-Flash-1017"
확인해야 할 4가지 사항이 있습니다. 수치는 반드시 동일한 케이스와 동일한 설정으로 비교해야 합니다.
| 확인 항목 | 확인 방법 |
|---|
| 합격률 | 차이가 작을 때는, 케이스 수를 늘리거나 여러 번 실행합니다(temperature가 1.0이라 변동성이 있습니다) |
| ... | |
temperature가 1.0인 경우, 동일한 입력이라도 결과가 흔들립니다. 최소한 3회 이상 실행하여 합격률의 편차를 확인하고 싶습니다.
채팅 템플릿 부재. 서버가 messages를 올바르게 구성하고 있는지, 초기 몇 건의 출력을 눈으로 확인해야 합니다. 글자 깨짐이나 대화의 연속을 임의로 계속 작성하는 동작이 있다면, 프롬프트 구성에 문제가 있다고 의심합니다. -
max_tokens 설정. 권장 사항은 256K 이상이라고 되어 있지만, 평가에서는 상한을 정하지 않으면 한 건이 극단적으로 길어집니다. 하네스에서는 1,024로 제한하고 있습니다. 긴 사고 과정이 필요한 과제에서는 이 값을 높여야 합니다. -
문자열 일치 한계. 정답 표현이 여러 개인 과제는 expect를 정규식으로 변경하거나, 다른 모델에 채점시키는 형태로 확장해야 합니다. 다만 후자의 경우, 채점 측 모델의 특성이 반영될 수 있다는 점에 주의해야 합니다. -
벤치마크 수치와 비교하지 마세요. 자신의 케이스 합격률과 모델 카드 표의 수치는 별개의 것입니다.
하네스 자체는 수십 줄로 만들 수 있습니다. 모델이 바뀔 때마다 다시 만들 필요 없이, 케이스를 축적해 나가면 '이번 업데이트가 내 태스크에 효과가 있었는지'를 몇 분 만에 확인할 수 있습니다. 특히 API 내부 내용이 이름 변경 없이 교체되는 상황에서는, 주기적으로 동일한 케이스를 실행하는 운영 방식이 변화 감지에도 도움이 됩니다.
한편, DeepSeek-V4.1-Flash-1017 자체의 실력은 본고에서 확인되지 않았습니다. 공식 수치는 MIT 라이선스의 대형 모델로서 기대할 만한 내용이지만, 모두 자사 값입니다. 실제로 측정한 결과를 보기 전까지는 '기대할 수 있는 후보'로 취급하는 것이 적절하다고 생각합니다.
DeepSeek-V4.1-Flash-1017은 수치상으로는 구 버전 대비 크게 향상되었다고 알려져 있지만, 제3자에 의한 재현은 발견되지 않았습니다. 본고에서는 자신의 태스크를 비교하기 위한 작은 A/B 평가 하네스를 만들고 모의(mock) 서버에서 작동을 확인했습니다. 실제 모델을 사용한 측정은 미검증입니다. 모델 카드의 수치를 믿기 전에, 자신만의 20개 케이스로 측정하는 것이 가장 빠릅니다.
※본 기사에 기재된 내용은 필자 개인의 견해이며, 소속 회사나 조직의 입장이나 방침과는 일절 관계가 없습니다.
【Tomcat-zhou】｜AI/AX/AI 보안 전문가
AI 전략 통찰, AI 구동 개발 방법론 설계 및 현장에서 작동하는 시스템 구축을 하고 있습니다.
note에서 전략 통찰 / Zenn・Qiita에서 기술・방법론을 작성하고 있습니다.
AI 보안・AI 컨설팅・AI 에이전트 개발・AI 활용・AI 구동 개발 교육, AI 인재 육성 서비스를 통합적으로 제공합니다.
X: @ZY20240528
LinkedIn: Tomcat-zhou
Facebook: zhou yi
노트: Tomcat-zhou
Zenn: Tomcat-zhou
- deepseek-ai/DeepSeek-V4.1-Flash-1017 (Hugging Face)
- Mistral이 자사의 1조 개 매개변수 대규모 모델(Large 4)에 대한 오픈 웨이트를 공개함 (The Next Web)
- AI 변경 로그 주차 44 (neomanex)
[키워드]
AI, LLM, DeepSeek, Python, vLLM, 평가
