Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 로컬 설정 시 주의사항: 모델, 도구 호출(tool call) 및 설정 문제
DeepSeek V4 Flash 모델을 로컬 환경(oMLX)에서 설정하며 겪은 도구 호출(tool call) 오류와 캐시 무효화 문제를 다룹니다. Unsloth Studio의 버그와 CPU 폴백 문제, 그리고 핫 캐시 크기 제한으로 인한 성능 저하 해결 과정을 공유합니다.
18시간 전0
r/LocalLLaMAAI 번역분석
3xMI50 32GB 환경에서 DS V4-Flash-0731을 로컬로 실행 (약 15 t/s TG)
3xMI50 GPU 환경에서 DS V4-Flash-0731 모델을 로컬로 실행한 성능 테스트 결과입니다. 양자화된 모델을 통해 초당 약 15-16 토큰의 안정적인 생성 속도를 확인했습니다.
19시간 전0
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731의 Expert-only IQ3 재양자화: UD-IQ3_S보다 나은 KLD, CPU 스필(spill)
DeepSeek-V4-Flash-0731 모델의 전문가(expert) 텐서만을 IQ3 계층으로 재양자화하여 품질과 용량 사이의 균형을 맞춘 연구 결과입니다. 기존 UD-IQ3_S 방식보다 낮은 KLD와 높은 정확도를 기록하며, VRAM 용량이 부족해 CPU 스필이 발생하는 환경에서 3-bit 수준의 품질을 유지하는 데 최적화되었습니다.
19시간 전0
r/LocalLLaMAAI 번역분석
RTX 3090 + 128GB DDR5 환경에서 DeepSeek-V4-Flash-0731 UD-IQ3_S 12.5 tok/s 구동
RTX 3090 24GB VRAM과 128GB DDR5 RAM 환경에서 DeepSeek-V4-Flash 모델을 구동하는 최적화 방법을 소개합니다. llama.cpp의 --n-cpu-moe 옵션을 활용해 MoE 전문가 일부를 시스템 RAM에 배치함으로써 제한된 VRAM 내에서 대규모 모델을 실행하는 데 성공했습니다.
23시간 전0
r/LocalLLaMAAI 번역분석
Deepseek v4 flash 0731 모델이 여전히 성능을 유지하지 못하는 이유
Deepseek v4 flash 모델이 프롬프트와 규칙을 제대로 따르지 못하는 기술적 원인을 분석합니다. 모델의 레이어 구조가 컨텍스트를 압축된 요약 형태로 처리하면서 정확한 문구와 세부 정보를 유지하지 못하는 문제가 핵심입니다.
23시간 전0
r/LocalLLaMAAI 번역분석
RTX PRO 6000 Max-Q eGPU를 장착한 Bosgame M5에서의 DeepSeek-V4-Flash-0731 성능
RTX PRO 6000 Max-Q eGPU를 장착한 Bosgame M5 환경에서 DeepSeek-V4-Flash-0731 모델의 양자화별 성능을 측정한 결과입니다. llama.cpp와 DSpark drafter를 활용하여 다양한 양자화 설정(Q2, Q4, Q8)에 따른 디코딩 및 프리필 속도를 비교 분석했습니다.
23시간 전0
r/LocalLLaMAAI 번역분석
Deep Seek v4 Flash 0731 도구 호출(tool calling) 오류에 대한 수정 사항이 llama cpp에 추가되었습니다
DeepSeek v4 Flash 0731 모델의 도구 호출(tool calling) 오류를 해결하기 위한 수정 사항이 llama.cpp 프로젝트에 반영되었습니다.
1일 전0
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731-UD-Q3_K_XL 3x3090 테스트 결과
DeepSeek-V4-Flash 모델의 3-bit K_XL 양자화 버전에 대한 llama-bench 테스트 결과를 공유합니다. RTX 3090 GPU 3대를 활용하여 모델의 추론 성능(T/S)을 측정한 벤치마크 데이터입니다.
1일 전0
r/LocalLLaMAAI 번역분석
Dual 3060 및 96GB RAM 환경에서의 DeepSeek V4 Flash 0731 IQ2_M 벤치마크 ≈ 3.5 tok/s
Dual RTX 3060과 96GB RAM 환경에서 Unsloth Studio를 사용하여 DeepSeek V4 Flash 모델을 실행한 벤치마크 결과입니다. RAM 오프로딩을 활용하여 약 3.5 tok/s의 속도를 기록했으며, 저전력 환경에서의 구동 성능을 확인했습니다.
1일 전0
r/LocalLLaMAAI 번역분석
LongCat-Flash-Lite-Sparse 다운로드 가능
LongCat-Flash-Lite-Sparse 모델의 가중치가 공개되었습니다. 이 모델은 LongCat Sparse Attention(LSA)을 도입하여 최대 1M 토큰의 컨텍스트 길이를 네이티브로 지원합니다.
1일 전0
r/LocalLLaMAAI 번역분석
Laguna S 2.1의 새로운 공식 FP8 및 NVFP4 가중치 사용 가능
Poolside가 Laguna S 2.1 모델의 FP8 및 NVFP4 가중치 체크포인트를 업데이트했습니다. 컨텍스트 크기를 100만 토큰으로 확장하고 기존의 반복 생성 문제를 개선했습니다.
1일 전0
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731: 이제 로컬에서 실행 가능한 모델들이 2026년 3월 최상위 프론티어 모델의 지능 점수를 보유하고
DeepSeek-V4-Flash-0731 모델이 최상위 프론티어 모델에 근접한 지능 점수를 기록했습니다. 이는 저렴한 하드웨어에서도 로컬로 고성능 모델을 실행할 수 있는 시대가 왔음을 시사합니다.
1일 전0
r/LocalLLaMAAI 번역분석
OpenAI가 GPT-5.6 Luna 가격을 90% 인하하며 패닉에 빠졌습니다. DS4F가 시장을 파괴하고 있습니다.
OpenAI가 GPT-5.6 Luna의 가격을 90% 인하하며 시장 대응에 나섰으나, DeepSeek의 DS4F가 압도적인 가성비로 시장을 위협하고 있습니다. 현재 AI 모델 시장은 토큰 효율성과 가격 경쟁력이 핵심 지표로 부상하고 있습니다.
1일 전0
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash 20260731에 대한 의견 및 리뷰
DeepSeek-V4-Flash 모델의 머신러닝 추론 능력과 코딩 품질을 리뷰한 내용입니다. 200K 컨텍스트 내에서 뛰어난 논리적 일관성과 도구 호출 능력을 보여주며, 복잡한 코드 감사 작업에서도 높은 정확도를 기록했습니다.
1일 전0
r/LocalLLaMAAI 번역분석
audio.cpp 0.5 출시: DramaBox 표현력 있는 TTS, Confucius4 교차 언어 음성 전이, 그리고 7개의 추가 모델 및
audio.cpp 0.5 버전이 출시되었습니다. 프롬프트를 통해 감정과 행동을 제어하는 DramaBox 모델과 교차 언어 음성 전이를 지원하는 Confucius4 모델이 포함되었습니다.
1일 전0
r/LocalLLaMAAI 번역분석
4B 모델 분류 작업에서의 60-82% 정확도 변동: 유일한 변수는 하네스 (harness) 설계였다
4B 모델을 활용한 분류 작업에서 하네스(harness) 설계 방식에 따라 정확도가 60%에서 82%까지 큰 차이를 보임을 입증했습니다. 프롬프트 내 규칙 배치와 참조 자료 순서 등이 성능에 결정적인 영향을 미친다는 연구 결과를 공유합니다.
1일 전0
r/LocalLLaMAAI 번역분석
DeepSeek v4 Flash 0731 GGUF 벤치마크: TensorSharp vs. llama.cpp
오픈 소스 추론 엔진인 TensorSharp가 DeepSeek v4 Flash GGUF 모델을 지원하며, llama.cpp 대비 우수한 성능을 기록했습니다. 4x Nvidia A40 환경에서 TensorSharp의 CUDA 백엔드가 더 높은 prefill 및 decode 속도를 보여줍니다.
2일 전0
r/LocalLLaMAAI 번역분석
CrystalBench 공개
코딩을 제외한 모델의 프로젝트 이해도와 논리적 일관성을 측정하는 결정론적 벤치마크인 CrystalBench v1.0이 공개되었습니다. 모델이 구조화된 표현을 생성하고 함정 질문에 대응하는 능력을 테스트하며, 추론 능력이 높을수록 오히려 함정에 빠질 가능성이 있음을 보여줍니다.
2일 전0
r/LocalLLaMAAI 번역분석
Qwen3.6-27B를 위한 ~250% 빠른 PP, ~20% 빠른 TG: RTX Pro 6000에서 NInfer NVFP4 vs
NInfer 엔진이 RTX Pro 6000 환경에서 Qwen3.6-27B 모델을 구동할 때 llama.cpp 대비 압도적인 성능 향상을 보임을 입증했습니다. 특히 프리필(prefill) 단계에서 최대 3.53배 빠른 속도를 기록하며 효율적인 추론 성능을 보여줍니다.
2일 전0
r/LocalLLaMAAI 번역분석
검열되지 않은 멀티 모델 출시: MTP가 포함된 LongCat-Flash-Lite, Jamba2-Mini
MTP(Multi-Token Prediction) 기술이 적용된 LongCat-Flash-Lite, Jamba2-Mini, Nikusui 등 검열을 해제한 멀티 모델들을 출시했습니다. 각 모델의 거부율을 획기적으로 낮추었으며, 이를 지원하기 위한 최적화된 llama.cpp 포크와 GGUF 파일도 함께 제공합니다.
2일 전0