5520억 개짜리인데 160억만 깨어난다
5520억 개짜리 모델인데 실제로 깨어나는 건 160억 개뿐이라니, 처음엔 숫자를 잘못 본 줄 알았다.
딥시크가 9월 10일에 V4.1 플래시라는 새 모델을 냈다. 텍스트랑 이미지 같이 처리하는 MoE(혼합전문가) 구조인데, 이게 뭐냐면 모델 안에 전문가를 수백 명 모아놓고 질문 하나 들어올 때마다 그중 몇 명만 깨워서 답하게 하는 방식이다. 그래서 전체 파라미터는 5520억인데, 입력 처리할 땐 80억만, 답을 만들 땐 160억만 움직인다. 몸집은 그대로 두고 필요한 만큼만 깨우는 거다.
근데 이번에 진짜 눈여겨볼 건 파라미터 숫자가 아니라 캐시 쪽이었다. AI가 대화 내용을 매번 처음부터 다시 계산 안 하려고 이전 정보를 저장해두는 걸 KV 캐시라고 하는데, 토큰 하나 저장하는 데 드는 용량을 이전 모델보다 4분의 1로 줄였다고 한다(890바이트 vs 3514바이트). 그 덕에 비싼 GPU 메모리(HBM) 사용량은 4분의 1, SSD 캐시 저장 공간은 8분의 1로 줄었단다. 대화가 길어지거나 코드 파일 통째로 읽힐수록 이 캐시가 서버 비용을 잡아먹는 주범인데, 그걸 줄였다는 건 결국 API 값도 싸지고 컨텍스트도 100만 토큰까지 길게 열 수 있다는 뜻이다.
성능도 대충 낸 건 아니다. 코딩 벤치마크(터미널벤치 2.1)에서 90.6점 찍고 클로드 오푸스5, GPT-5.6도 제쳤다. 사이버 보안 평가에서도 88.1점으로 앞섰다.
근데 결과부터 말하면, 이름만 비슷한 다른 버전 벤치(터미널벤치 4.0)에서는 31.2점으로 확 꺾인다. 오푸스5나 GPT-5.6한테 밀린다. GPQA(과학 상식 시험)도 직전 버전보다 오히려 점수가 낮게 나왔다. 구버전 시험은 잘 풀고 신버전 시험은 못 푸는 걸 보면, 이게 진짜 실력인지 벤치마크에 익숙해진 건지는 좀 더 지켜봐야 할 것 같다.
몸집을 줄인 게 아니라 깨어나는 부분을 줄인 거다 — 이게 앞으로 오픈소스 모델들이 붙는 방식이 될 것 같다.
나라면 이거 뭐에 쓸까 생각해봤는데, 오픈소스에 MIT 라이선스로 가중치까지 풀렸으니까 로컬이나 개인 서버에 올려서 돌릴 수 있다는 게 크다. 컨텍스트가 100만 토큰이라 긴 로그 파일이나 코드베이스를 통째로 넣고 리뷰 시키는 용도로 맞을 것 같고, API 값도 싸졌다니까 단순 반복 작업(터미널 명령 자동화 같은 거)은 이걸로 돌리고, 판단이 까다로운 부분만 오푸스나 GPT로 넘기는 식으로 나눠 쓸 것 같다.
코딩 에이전트 돌리는 분들, 벤치마크 버전 바뀔 때마다 점수가 이렇게 널뛰는 거 실제 작업에서도 체감한 적 있나?
출처: 위키트리 — 딥시크 V4.1 플래시, 5520억 파라미터 중 160억만 깨워 캐시 4분의 1로 압축