범위는 -100~100점이며, 0점은 정답과 오답 수가 같다는 뜻이고 음수는 오답이 더 많다는 뜻임
Finance & Accounting Index 는 AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf의 7개 평가를 결합함
별도 분야별 평가도 포함하며, 사용 사례에 따라 종합 지수보다 개별 평가가 더 적합할 수 있음
지난 한 달간 DeepSeek V4.1 Flash를 주력으로 쓰며 수백억 토큰을 처리했고, 내부 벤치마크와 실제 작업에서 강점과 약점을 꽤 깊게 살펴봄. Qwen 3.8 Flash Next, GLM 5.3 Flash, MOPD 수정이 적용된 MiMo 2.6 Flash와도 비교함.
로컬에서 초당 200토큰 이상으로 실행되고 모델이 몰래 바뀔 걱정도 없어, 일상 작업에는 대체로 독점 모델 구독보다 선호함. 중간 난도 작업에서는 비슷한 역량을 보여주며, Astra와 Opus는 주로 계획과 검토에 사용함.
기존 모델을 1017로 교체한 뒤 아직 초기지만 사고 과정(CoT)이 크게 달라졌고, Astra를 대대적으로 증류했다는 주장도 그럴듯해 보임. 공개 벤치마크와 3D 게임 제작에서는 좋아졌지만, 내 내부 평가에서는 토큰 효율만 개선됐고 점수는 오르지 않음.
며칠 써본 바로는 집중력과 신뢰성이 조금 높아진 듯함. DS4 0731과 DS4.1은 부주의하고 Claude 특유의 표현도 따라가는 편이었는데, 1017은 좀 더 날카로워 보임. 더 어려운 작업도 시험 중이지만, 특히 GLM이 뛰어났던 보안·역공학·하드웨어 분석에서 GLM-5.3 수준인지는 아직 확신하기 어려움.
로컬 장비에서 초당 200토큰 이상이라니 놀라움. 하드웨어에 얼마를 썼는지?
CoT는 사고 과정(Chain of Thought) 의 약자임. 나도 따로 찾아봐야 했음.
GPT 6.1 Sol의 medium 설정이 v4.1 Flash 1017의 max 설정보다 작업당 비용은 저렴하고($0.21 대 $0.26), 시간도 짧음(2.9분 대 4.9분).
AA가 DeepSeek의 다른 추론 강도 결과도 추가해야 더 현실적인 비교가 가능할 듯함. 대부분에게 최대 추론 강도는 비현실적이며, 성능이 조금 오르는 대가로 시간과 토큰을 지나치게 많이 소모함.
AA의 자금 출처와 이해관계가 궁금함. 평가에 적어도 어느 정도는 편향을 넣는 듯한 느낌이 듦.
내 작업에서는 기존 DS41F와 1017 모두 low(25/100) 추론 설정이 최적이었음. max가 대체로 더 낫지도 않고, low로 해결하지 못하면 더 똑똑한 모델로 바꾸는 편이 낫다고 봄. low는 max 대비 토큰 수가 약 1/3~1/2이며 비용과 소요 시간도 비슷하게 줄어듦.
1017은 모르지만, 0910과 이전 v4-flash-0731을 내 용도로 제한적으로 시험했을 때 max는 high보다 토큰을 거의 두 배 쓰면서도 이점은 거의 없었음. max를 쓸 이유를 찾기 어려움.
벤치마크 업계의 인플루언서처럼 유행이 이어지는 동안 최대한 수익을 뽑아내는 듯함. 벤치마크의 재정·제휴 관계 공개 내역을 감사하는 제도가 있는지?
이 점이 늘 거슬림. 미국 모델과 달리 중국 모델은 모든 추론 강도를 시험하기에 너무 비싸기라도 한 건지?
이런 모델을 RAM 128GB와 2080 Ti 같은 빈약한 소비자용 장비에서 돌릴 수 있는지가 가장 궁금함. 초당 토큰 수는 아주 낮아도 괜찮으니, 자는 동안 맡겨두면 꽤 괜찮은 결과를 만들어낼 지능이 있으면 좋겠음.
내가 최신 동향을 놓쳤을 수도 있지만, 이 정도 하드웨어로는 아직 어려워 보임.
DS v4.1은 모르겠지만, Qwen3.8 Flash Next는 현재 10GB 3080과 DDR5 RAM 64GB에서 최대 문맥 길이로 초당 40~70토큰, 프롬프트 처리 약 1,200토큰/초 수준으로 돌아감.
RAM 128GB인 Mac Studio에서 DwarfStar DeepSeek V4 Flash를 쓰는데, 생성 속도와 코딩 능력 모두 꽤 괜찮음. V4.1도 SSD에서 가중치를 스트리밍하면 실행 가능하다고 함. 속도가 낮아져 아직 시험하지 않았지만, 이번 4.1 버전도 결국 같은 방식으로 쓸 수 있을 듯함.
캐시 상태에 따른 라우팅을 적용한 전문가 스트리밍은 꽤 강력함. Strix Halo 두 대와 9070 XT 한 장으로 4.1 Flash를 거의 온전한 품질로 초당 50~70토큰 생성할 수 있음. 질문에 나온 구성에서도 적어도 초당 몇 토큰은 가능할 수 있음.
가능함. https://github.com/lxe/dsx를 쓰면 3090 두 장과 RAM 128GB에서 약 30토큰/초로 이 DeepSeek를 실행할 수 있음. 지능은 전체 모델의 약 75% 수준임.
MiMo 2.6 Pro는 46점에 가격도 절반인데, 처리량이 훨씬 낮기는 해도 왜 비슷한 관심을 받지 못하는지 모르겠음.
지금 OpenRouter에서 토큰 단가만 비교하면 MiMo 2.6 Pro가 약 네 배 비쌈. DeepSeek v4.1 Flash 1017이 정말 작업당 그렇게 더 오래 걸리는지?
DeepSeek는 비활성·활성 매개변수가 536B+16B인데, 현재 오픈소스 최고 수준인 MiMo v2.6 Pro의 978B+42B와 견줄 만하다는 게 놀라움. 크기는 절반인데 성능은 꽤 근접해서 많은 작업을 맡길 수 있어 보임.
속도도 마음에 들지만 벤치마크상으로는 상당히 장황해서, 가까운 시일 내에 개선해야 할 듯함. 토큰 효율만 높이는 별도의 미세 조정이 가능할지 궁금함. Nvidia의 최근 Nemotron 120B도 생성 속도가 대단한데, 일반적인 하드웨어에서도 이런 속도를 볼 수 있을지 기대됨.
이 분야에서 혁신이 활발한 만큼 좋은 아이디어가 다른 모델에도 흡수돼 여러 개선을 누리게 될 것임. 결국 이런 공학은 속도·가격·성능 사이에서 무엇을 선택할지의 문제이기도 함. 연구소마다 어떤 절충을 택하는지 흥미롭고, 특히 가중치가 공개된다면 어느 방향이든 우리의 선택지가 늘어난다는 점에서 반가움.
판단력은 형편없는데 생성 속도만 빠른 모델은 위험하면서도 구경할 만함. 브라우저 접근 권한까지 주면 몇 분 만에 Cloudflare 봇 탐지를 잔뜩 촉발할 것임.
직설적으로 묻자면, 활성 매개변수 12B인 모델이 16B보다 빠르고, 16B가 42B보다 빠른 것이 왜 놀라운지? 다른 조건이 같다면 예상대로인 결과로 보임.