Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
vLLM-Moet 2-bit 양자화를 사용하여 DGX Spark에서 DeepSeek-V4-Flash-0731 (155 GB MoE) 실행하기
vLLM-Moet 2-bit 양자화를 활용하여 단일 DGX Spark 환경에서 DeepSeek-V4-Flash 모델을 실행하는 기술적 방법을 공유합니다. ARM64 아키텍처에서의 빌드 주의사항과 MTP(Multi-Token Prediction) 적용 시의 성능 변화를 다룹니다.
8월 2일1
r/LocalLLaMAAI 번역분석
Mac에서 실행되는 Deepseek-V4-Flash-0731 Dwarfstar
Mac 환경에서 실행 가능한 Deepseek-V4-Flash-0731 Dwarfstar 모델에 관한 내용입니다. 해당 모델의 로컬 실행 가능성을 다룹니다.
8월 2일1
r/LocalLLaMAAI 번역분석
프롬프트, 계획, 기술 등을 작성하고 감사하기 위한 AI 재귀적 규칙 세트 제작
AI의 출력 품질을 높이기 위해 프롬프트, 계획, 기술 등을 체계적으로 작성하고 관리하는 재귀적 규칙 세트 제작 방법을 다룹니다. LLM 특유의 정형화된 문체를 탈피하고 에이전트용 설정 파일(AGENTS.md, CLAUDE.md)을 활용하는 전략을 제안합니다.
8월 2일0
r/LocalLLaMAAI 번역분석
16xGB10 (DGX Spark) 클러스터 구축
Deepseek v4 pro 등 대규모 오픈 모델을 로컬에서 실행하기 위해 16xGB10 클러스터를 구축하는 과정을 설명합니다. 고속 네트워크 연결을 통해 2T+ 규모의 모델 실행 가능성을 목표로 합니다.
8월 2일1
r/LocalLLaMAAI 번역분석
Vacuum 16T
Hugging Face의 safetensors 헤더 계산 방식을 이용해 실제 데이터 없이 16.5조 개의 파라미터를 선언한 'Vacuum 16T' 모델 사례를 분석합니다. 이 모델은 실제 데이터 전송량은 매우 적지만, 선언된 논리적 크기에 따라 저장 용량 할당량을 모두 소비하는 구조를 보여줍니다.
8월 2일1
r/LocalLLaMAAI 번역분석
Xberg v1 출시
콘텐츠 인텔리전스 프레임워크인 Xberg v1이 출시되었습니다. 다양한 문서, 코드, 오디오, 비디오 형식을 처리하며 고성능 PDF 추출 및 OCR 엔진을 제공합니다.
8월 2일1
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731 UD-IQ3_XXS: 1x 7900 XTX 24GB + 3x MI60 32GB + 128GB DDR4
DeepSeek-V4-Flash-0731 모델을 AMD GPU 조합(7900 XTX 및 MI60) 환경에서 llama.cpp로 구동한 성능 테스트 결과입니다. 프롬프트 처리 속도는 최대 140t/s 이상을 기록했으며, 추론 속도는 약 11t/s로 측정되었습니다.
8월 2일0
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731 사용자들을 위한 공지 — 대화 중간에 시스템 역할(system role) 메시지를 넣어 프롬프트
DeepSeek-V4-Flash-0731 모델 사용 시 대화 중간에 시스템 역할을 삽입하면 프롬프트 구조가 망가질 수 있습니다. 대신 모델이 학습된 방식인 'latest_reminder' 역할을 사용하는 것이 권장됩니다.
8월 2일3
r/LocalLLaMAAI 번역분석
저의 Qwen 3.6 포팅에 이어, 계속해서 모델을 추가하고 싶었고 그 과정에서 여러 가지를 수정하게 되어 이제는 Mference라는 독자적인
MoE 모델의 효율적인 구동을 위해 전문가(experts)를 SSD에서 스트리밍하는 독자적인 엔진 'Mference'를 개발했습니다. Gemma 4, Qwen 3.6, DeepSeek-V4-Flash 등 다양한 모델을 지원하며, 저사양 Mac에서도 대규모 모델 실행이 가능하도록 설계되었습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
8GB RAM과 단일 CPU로 Kimi K3 구동하기
8GB RAM과 단일 CPU 환경에서 Kimi K3 모델을 구동하기 위해 C99로 직접 작성한 경량 추론 엔진을 소개합니다. MoE 아키텍처의 특성을 활용해 전문가 모델을 NVMe에서 스트리밍하는 방식으로 메모리 요구량을 최소화했습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 로컬 설정 시 주의사항: 모델, 도구 호출(tool call) 및 설정 문제
DeepSeek V4 Flash 모델을 로컬 환경(oMLX)에서 설정하며 겪은 도구 호출(tool call) 오류와 캐시 무효화 문제를 다룹니다. Unsloth Studio의 버그와 CPU 폴백 문제, 그리고 핫 캐시 크기 제한으로 인한 성능 저하 해결 과정을 공유합니다.
8월 2일1
r/LocalLLaMAAI 번역분석
3xMI50 32GB 환경에서 DS V4-Flash-0731을 로컬로 실행 (약 15 t/s TG)
3xMI50 GPU 환경에서 DS V4-Flash-0731 모델을 로컬로 실행한 성능 테스트 결과입니다. 양자화된 모델을 통해 초당 약 15-16 토큰의 안정적인 생성 속도를 확인했습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731의 Expert-only IQ3 재양자화: UD-IQ3_S보다 나은 KLD, CPU 스필(spill)
DeepSeek-V4-Flash-0731 모델의 전문가(expert) 텐서만을 IQ3 계층으로 재양자화하여 품질과 용량 사이의 균형을 맞춘 연구 결과입니다. 기존 UD-IQ3_S 방식보다 낮은 KLD와 높은 정확도를 기록하며, VRAM 용량이 부족해 CPU 스필이 발생하는 환경에서 3-bit 수준의 품질을 유지하는 데 최적화되었습니다.
8월 2일0
r/LocalLLaMAAI 번역분석
RTX 3090 + 128GB DDR5 환경에서 DeepSeek-V4-Flash-0731 UD-IQ3_S 12.5 tok/s 구동
RTX 3090 24GB VRAM과 128GB DDR5 RAM 환경에서 DeepSeek-V4-Flash 모델을 구동하는 최적화 방법을 소개합니다. llama.cpp의 --n-cpu-moe 옵션을 활용해 MoE 전문가 일부를 시스템 RAM에 배치함으로써 제한된 VRAM 내에서 대규모 모델을 실행하는 데 성공했습니다.
8월 1일0
r/LocalLLaMAAI 번역분석
Deepseek v4 flash 0731 모델이 여전히 성능을 유지하지 못하는 이유
Deepseek v4 flash 모델이 프롬프트와 규칙을 제대로 따르지 못하는 기술적 원인을 분석합니다. 모델의 레이어 구조가 컨텍스트를 압축된 요약 형태로 처리하면서 정확한 문구와 세부 정보를 유지하지 못하는 문제가 핵심입니다.
8월 1일0
r/LocalLLaMAAI 번역분석
RTX PRO 6000 Max-Q eGPU를 장착한 Bosgame M5에서의 DeepSeek-V4-Flash-0731 성능
RTX PRO 6000 Max-Q eGPU를 장착한 Bosgame M5 환경에서 DeepSeek-V4-Flash-0731 모델의 양자화별 성능을 측정한 결과입니다. llama.cpp와 DSpark drafter를 활용하여 다양한 양자화 설정(Q2, Q4, Q8)에 따른 디코딩 및 프리필 속도를 비교 분석했습니다.
8월 1일1
r/LocalLLaMAAI 번역분석
Deep Seek v4 Flash 0731 도구 호출(tool calling) 오류에 대한 수정 사항이 llama cpp에 추가되었습니다
DeepSeek v4 Flash 0731 모델의 도구 호출(tool calling) 오류를 해결하기 위한 수정 사항이 llama.cpp 프로젝트에 반영되었습니다.
8월 1일1
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731-UD-Q3_K_XL 3x3090 테스트 결과
DeepSeek-V4-Flash 모델의 3-bit K_XL 양자화 버전에 대한 llama-bench 테스트 결과를 공유합니다. RTX 3090 GPU 3대를 활용하여 모델의 추론 성능(T/S)을 측정한 벤치마크 데이터입니다.
8월 1일0
r/LocalLLaMAAI 번역분석
Dual 3060 및 96GB RAM 환경에서의 DeepSeek V4 Flash 0731 IQ2_M 벤치마크 ≈ 3.5 tok/s
Dual RTX 3060과 96GB RAM 환경에서 Unsloth Studio를 사용하여 DeepSeek V4 Flash 모델을 실행한 벤치마크 결과입니다. RAM 오프로딩을 활용하여 약 3.5 tok/s의 속도를 기록했으며, 저전력 환경에서의 구동 성능을 확인했습니다.
8월 1일0
r/LocalLLaMAAI 번역분석
LongCat-Flash-Lite-Sparse 다운로드 가능
LongCat-Flash-Lite-Sparse 모델의 가중치가 공개되었습니다. 이 모델은 LongCat Sparse Attention(LSA)을 도입하여 최대 1M 토큰의 컨텍스트 길이를 네이티브로 지원합니다.
8월 1일0