제가 직접 최신 엔진으로 'horsey challenge'를 시도해 보고자 했습니다. 현재 테스트 중인 것은 sergqwer가 만든 strata fork입니다. https://github.com/sergqwer/strata-nvfp4 이전에 게시물을 봤는데, iq3였던 것 같고 정말 멋지해서 NVFP4로 한번 시도해 보기로 했습니다. 공유할 거라고는 기대하지 않았는데, 현재 시간 기준으로 꽤 잘 작동했습니다. 프롬프트를 변경한 이유는 이번이 두 번째 시도였기 때문입니다. 첫 번째 시도는 Qwen이 html 테스트를 할 때 15개 이상의 헤드리스 창을 열려고 해서 문제가 생겼습니다. 작업하는 동안 다른 창으로 스크롤하다가 제 컴퓨터가 느려진 것을 알았습니다(lmao). 그 테스트는 약 45분 정도 진행되었습니다. 이후 새로운 프롬프트로 재시도했는데, 이번에는 훨씬 빨랐습니다. 이 fork를 몇 일 동안 사용해 왔습니다. 저는 더 높은 압축률을 위해 설정을 조정해야 했습니다. 아마 220k~230k 지점에서요. 이번에는 제한치 미만이라 압축이 필요하지 않았지만, Unity headless나 Blender headless와 같은 프로젝트에서 장시간 사용하거나 텍스처를 위한 이미지 생성 등을 할 때는 많이 압축할 것입니다. 아직 며칠밖에 되지 않았지만, 지금까지 제가 이전에 사용했던 어떤 것보다도 상당히 좋습니다. 이는 엔진과 현재 제가 사용하는 모델 모두에 해당됩니다. 이것은 단순히 공유하고, 단일 GPU에서 모델에 접근하는 것이 얼마나 멀리 왔는지, 그리고 이런 일들을 시도해 볼 기회가 생기는 것에 기여하기 위함입니다. 어쩌면 더 많은 사람들이 자신의 작업을 좀 더 자주 보여주도록 동기를 부여할 수도 있을 것입니다. 이 서브레딧이 제가 공유를 시작하도록 큰 동기 부여가 되었고, 또한 Local과 관련된 모든 것에 기여한 분들께 감사드립니다. 원래 Strata 팀, fork를 만들어준 Sergqwer, 모델을 Strata와 작동하도록 변환해 준 windowsxp811203, 그리고 놀라운 드롭을 제공해주신 Qwen 팀에게 감사합니다. *차트는 AI가만 정리했습니다. 더 깔끔하고 보기 좋게 정렬하는 것이 쉬웠기 때문입니다. 영상 품질에 대해 물어보시면 prtsc로 비디오 캡처를 했습니다. 프롬프트도 제가 직접 수정해야 했습니다(lol).
Three.js를 사용하여 끊김 없는 루프(seamless loop)로 움직이는 로우 폴리곤(low-poly) 3D 말을 만드는 것이 목표입니다. 이를 기본 기하학 도형(primitive geometry)으로 절차적 방식(procedurally)으로 구축하고, 다리, 몸통, 머리, 꼬리를 애니메이션화한 다음, 단일의 독립적인 HTML 파일로 반환해야 합니다. 또한 헤드리스 크롬(headless chrome)을 사용할 때는 더 이상 필요하지 않은 프로세스는 반드시 종료해야 합니다. 필요할 때마다 이 헤드리스 크롬들이 시스템을 지연시키는 것은 바람직하지 않습니다.
스택 (Stack):
- 하드웨어 (Hardware): RTX 5090 32GB · Ryzen 7 9800X3D · 192GB DDR5-5600 · Windows 11
- 엔진 (Engine): strata-nvfp4 (Niko1221/Strata의 fork)를 Windows에서 실행하며, llama-swap이 모델 스위처 역할을 합니다.
- 모델 (Model): Qwen3.8-Flash-Next 125B-A6B 하이브리드 MoE — abliterated 체크포인트로, NVFP4에 자체 변환되었습니다.
- 가중치 (Weights):
- NVFP4 전문가(experts) (4.5비트, 보정된 스케일)
- Q8_0 밀집 KV 캐시 (dense KV cache): int8
- PLE 테이블: bf16
- 임베딩 (Embeddings): bf16
- MTP: draft head, spec 5, spec-min-p 0.7
- 컨텍스트 (Context): 262,144 최대
- 압축 (Compaction): custom trip line at 220,144
- 샘플링 (Sampling): temp 0.8 / presence_penalty 0.3 / min_p 0.02
- 비전 (Vision): fp32 mmproj, CPU RAM에 인코더
- 계층 (Tier): 63 GiB 고정 전문가(pinned experts); VRAM에 캐시된 뜨거운 전문가(hot experts); 누락분은 CPU+PCIe로 계산
- 장치 (Harness): dsh (웹 GUI), OpenAI API
| 지표 (Metric) | 값 (Value) |
|---|
| 월간: 첫 메시지 → 마지막 답변 | 33분 45초 |
| − 나의 승인 지연 시간 (25개 권한 프롬프트) | -10분 35초 |
| = 순수 에이전트 작동 시간 | 23분 10초 |
| 단계 (Steps) | 87 |
| 출력 토큰 (생각 + 코드 + 도구 호출) | 124,443 |
| 신규 입력 토큰 | 96,334 |
| 캐시 읽기 토큰 | 9,340,144 (99.0% 적중률) |
| 디코딩 (단계별, 승인 조정) | 중앙값 116 t/s · 평균 103 · 최고 171 |
| TTFT | 중앙값 0.7초 (깊은 컨텍스트에서 최대 24.9초) |
| 프리필 (신규 토큰) | 평균 3,332 t/s · 최고 6,623 t/s |
| 가장 긴 단일 버스트 | 21,279 토큰 |
| 압축분 (Compactions) | 0 (33분 동안 220k 라인에 도달하지 않음) |
도구 호출 (TOOL CALLS) — 총 107개, /u/Beneficial-Ad-8127이 제출한 14분 10초의 도구 실행 시간 [링크] [댓글]
