Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
DeepSeek-V4-Flash에서 파생된 코딩 특화 MoEspresso 패키지를 소개하며, 이를 Mac 환경에 맞게 57GB로 축소하여 C 컴파일러를 작성하는 과정을 공유했습니다. 이 경량화된 모델은 기존 대용량 모델 대비 코드 전용 성능을 유지하면서도 효율성을 극대화한 것이 특징입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN OpenAI Codex의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이것은 DeepSeek-V4-Flash-0731에서 파생된 코딩 특화 MoEspresso 패키지입니다. 용량은 56.869 GB이며, 모델 safetensors는 56.831 GB를 차지합니다. 이는 84.355 GB인 MoEspresso 2.37 bpw 패키지보다 32.63% 적습니다. 이 패키지는 약 80B개의 파라미터를 제거하여 총 204B개를 남겼으며, 토큰당 활성 파라미터는 약 13B개입니다.
다음에서 작은 C 컴파일러를 작성하는 화면 녹화 영상을 확인할 수 있습니다:
[IMG:N]
이 패키지는 MoEspresso 2.1 이상을 요구합니다. MoEspresso만이 이 파일을 구동할 수 있는 유일한 엔진입니다. llama.cpp, transformers, mlx-lm으로는 이 파일들을 로드할 수 없습니다.
brew install steadfastgaze/tap/moespresso
moespresso serve /path/to/package
이 패키지는 코딩 및 코딩 에이전트 워크로드에 사용하기 위한 것입니다. 2.37 bpw 패키지의 더 작은 범용 대체품은 아닙니다. 아래 측정값들은 코딩 유지율과 일반 텍스트 회귀를 모두 보여줍니다.
NLL(Negative Log Likelihood)과 perplexity가 낮을수록 좋습니다. 코드 패널은 code.utf8로부터 12개의 고정된 2,048-토큰 창과 24,564개의 다음 토큰 타겟을 포함합니다.
| package | model safetensors | code mean NLL | code perplexity | selected-token agreement with 2.37 bpw |
|---|---|---|---|---|
| This Coder package | 56.831 GB | 1.01758 | 2.7665 | 88.55% |
| MoEspresso 2.37 bpw | 84.355 GB | 0.88582 | 2.4250 | reference |
비공개된 all-IQ1 no-REAP 연구 기준선이 조사되었으며, 이 기준선에 비해서 프루닝 및 특화는 WikiText 평균 NLL을 0.25170 증가시키는 반면, 코드 평균 NLL은 0.10250 감소시켰습니다.
극단적인 IQ1 양자화는 2.37 bpw 패키지에서 나오는 광범위한 텍스트 손실의 대부분을 차지합니다. 이후 특화 과정은 더 나은 코드 모델링을 위해 추가적인 광범위한 텍스트 품질을 희생시켰습니다.
광범위한 텍스트 및 공식 연속성(official-continuation) 패널이 결과 제품 경계를 정량화합니다.
| 패키지 | WikiText mean NLL | WikiText perplexity | API-continuation mean NLL | API first-token agreement |
|---|---|---|---|---|
| This Coder 패키지 | 2.41630 | 11.2043 | 1.23133 | 48/100 |
| MoEspresso 2.37 bpw | 1.71466 | 5.5548 | 0.39634 | 66/100 |
WikiText 패널은 WikiText-2 테스트 스플릿에서 연속된 32개의 2,048 토큰 창을 사용하며, 각 창의 마지막 1,023 토큰에 대한 점수를 측정하여 총 32,736개의 타겟을 만듭니다. API 패널은 공식 DeepSeek 0731 모델에서 선택된 100개의 프롬프트와 2,313개의 연속 토큰을 사용합니다. 각 로컬 패키지는 저장된 연속성을 통해 교사 강제(teacher-forced)됩니다. 이는 자유 실행(free-running) API 일치도가 아닙니다.
렌더링된 추론 및 도구 검증 패널은 DeepSeek의 프롬프트 및 도구 호출 형식으로 변환된 보류된 대화(held-out conversations)를 사용합니다.
| category | positions | Coder NLL | 2.37 bpw NLL | Coder selected-token accuracy | 2.37 bpw accuracy |
|---|---|---|---|---|
| All rendered targets | 8,188 | 1.33567 | 1.31694 | 75.67% | 75.95% |
| Reasoning | 1,806 | 1.46925 | 1.47384 | 66.11% | 66.06% |
| Structured tool calls | 1,880 | 0.46838 | 0.39007 | 90.05% | 90.69% |
| Tool-result history | 850 | 1.12205 | 1.11188 | 76.59% | 78.59% |
해당 패키지는 또한 추가적인 검사도 통과합니다. 예:
| check | scope | result |
|---|---|---|
| Long-context fact recall | 30,000 토큰 클래스 프롬프트 내 16개 고정 사실 | 16/16 정확히 일치 |
| Coding capability | 16개 비공개 테스트 | 16/16 테스트 |
이 패널들은 패키지 개발 과정에서 사용되었습니다. 이들은 최종 아티팩트를 특징짓지만, 건드리지 않은(untouched) 사후 선택 벤치마크는 아닙니다.
세 개의 해시 라우트된 레이어는 모든 256개의 전문가를 유지합니다. 40개의 학습된 라우터 레이어 각각은 256개 전문가 중 176개를 유지하며, 총 7,808개의 보존된 전문가 행을 가집니다. 서비스되는 라우터는 여전히 토큰당 여섯 개의 전문가를 선택합니다.
전문가 유지(Expert retention)와 정밀도(precision)는 함께 선택되었습니다. 라우팅된 프로젝션 셀 129개 중 32개는 IQ1_S_R4를, 64개는 IQ2_KS를, 그리고 33개는 IQ2_K를 사용합니다. 더 밀집된 모델 가중치(denser model weights)에는 q6_K가 사용됩니다. 레이어-12 다운 프로젝션은 명시적으로 승격되었으며; 짧은 폐쇄 화면과 전체 자가 회귀 추론 실행을 보여준 결과, 승격 횟수만으로는 지속적인 사고 품질을 예측할 수 없었습니다.
패키지에는 drafter가 포함되어 있지 않습니다. 별도로 배포되는 DSpark 사이드카(sidecar)는 MoEspresso 2.1과 함께 확인하고 서비스할 수 있습니다:
moespresso verify /path/to/package --drafter /path/to/dspark-sidecar
moespresso serve /path/to/package --drafter /path/to/dspark-sidecar
사용된 가중치 양자화(Weight quantization)는 Bartowski의 calibration_datav5와 exllamav3의 technical.utf8를 사용했습니다.
전문가 유지에는 calibration_datav5에서 일반 창(general windows), exllamav3의 code.utf8에서 코딩 창(coding windows), 관련 없는 캐주얼 채팅, 그리고 추론 및 도구 호출(Reasoning and Tool Calling)의 conversations 훈련 분할이 사용되었습니다.
WikiText-2는 평가 목적으로만 사용되었습니다.
다운로드 후에는 서비스하기 전에 전체 디렉터리를 확인하십시오:
moespresso verify /path/to/package
기본 모델은 DeepSeek에 의해 훈련 및 출시되었습니다. IQ_K 형식은 Iwan Kawrakow가 설계했으며 mlx-iqk를 통해 서비스됩니다. 밀집된 q6_K 경로는 mlx-kquant를 사용합니다. 구성 데이터에는 Bartowski와 turboderp-org가 발표한 자료가 포함되어 있습니다. MoEspresso는 Apple의 MLX에서 실행됩니다.
전체 서드파티 출처(third-party provenance)는 MoEspresso 저장소의 THIRD-PARTY-NOTICES 및 종속성에서 배포되는 공지사항에 기록되어 있습니다.