Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
단일 RTX 5090에서 DeepSeek-V4-Flash-0731 구동 업데이트: 이중 CUDA 그래프를 활용한 phase-adaptive
단일 RTX 5090 환경에서 DeepSeek-V4-Flash-0731 모델을 1M 컨텍스트로 구동하기 위한 최적화 기술을 소개합니다. 이중 CUDA 그래프와 phase-adaptive DSpark 패치를 통해 추론 단계와 생성 단계의 수락률 차이를 극복하고 처리량을 개선했습니다.
8월 4일2
r/LocalLLaMAAI 번역분석
단일 RTX 4090에서 64k 컨텍스트로 실행되는 DeepSeek V4 Flash (UD-Q3_K_M) — 설정 및 측정 수치
RTX 4090과 128GB RAM 환경에서 DeepSeek V4 Flash 모델을 64k 컨텍스트로 실행한 설정과 성능 측정 결과를 공유합니다. MoE 구조를 활용해 어텐션과 KV 캐시는 GPU에, 전문가 FFN은 시스템 RAM에 배치하는 최적화 방식을 다룹니다.
8월 4일0
r/LocalLLaMAAI 번역분석
16x GB10 클러스터에서 평균 20+tps로 실행되는 Kimi K3 풀 모델
16x GB10 클러스터 환경에서 Kimi K3 풀 모델을 dspark를 통해 실행한 성능 결과입니다. 평균 20+ tps의 속도를 기록했으며, 향후 vLLM 이미지와 상세 사용 지침을 공유할 예정입니다.
8월 4일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 (Q4)가 단일 RTX PRO 6000에서 프리필(prefill) 1,328 tok/s 및
Krasis를 활용하여 단일 RTX PRO 6000 GPU에서 DeepSeek-V4-Flash-0731 모델의 프리필(prefill) 속도를 대폭 향상시킨 성능 측정 결과입니다. VRAM 제한을 극복하기 위해 전문가(experts)를 스트리밍하고 관리하는 최적화 기법을 적용했습니다.
8월 4일1
r/LocalLLaMAAI 번역분석
Deepseek V4 Flash-0731: 8x 5090에서 $2.5/시간으로 2000+ tps 달성
RTX 5090 8장을 활용하여 Deepseek V4 Flash 모델에서 시간당 2.5달러의 비용으로 2000+ TPS를 달성한 실험 결과입니다. REAP mxfp4 이미지를 통해 높은 KV 캐시 효율을 확보하고 다수의 동시 세션을 구성하는 최적화 방법을 다룹니다.
8월 4일1
r/LocalLLaMAAI 번역분석
srt2speech: 음성 복제 및 자동 길이 매칭을 지원하는 오픈 소스 다국어 SRT 내레이션 도구 - 오프라인 및 경량화
srt2speech는 SRT 자막의 타이밍에 맞춰 음성을 생성하고 자동으로 길이를 매칭하는 오픈 소스 다국어 내레이션 도구입니다. 외부 API 없이 로컬 환경에서 음성 복제와 다중 화자 지원이 가능하며, 경량화된 설계를 통해 다양한 하드웨어에서 구동됩니다.
8월 4일1
r/LocalLLaMAAI 번역분석
[DeepSeek-V4-Flash-0731] 단일 RTX 5090 + DDR5 데스크탑 환경에서 vLLM CPU/RAM 오프로딩을 통한 1M
RTX 5090과 대용량 DDR5 RAM을 활용하여 DeepSeek-V4-Flash 모델을 vLLM의 CPU/RAM 오프로딩 기술로 구동하는 방법을 다룹니다. FlashInfer 라이브러리의 CUDA 라이브러리 경로 인식 오류를 해결하기 위한 로컬 패치 방법과 최적화된 실행 환경 설정을 공유합니다.
8월 4일1
r/LocalLLaMAAI 번역분석
16GB 사양의 기기에서 Qwen3.6-35B-A3B를 구동하기 위한 DwarfStar 기반 Vulkan/Metal 추론 엔진 구축
저사양 기기에서도 대규모 언어 모델을 구동할 수 있도록 설계된 QuarkStar 추론 엔진을 소개합니다. Vulkan과 Metal을 지원하며, 16GB 메모리 환경에서 Qwen3.6-35B-A3B 모델을 효율적으로 실행할 수 있는 최적화 기술을 제공합니다.
8월 4일1
r/LocalLLaMAAI 번역분석
LokalBot: 기기 내 로컬 LLM을 활용하여 업무 효율을 극대화하는 macOS 앱
LokalBot은 macOS 전용 로컬 LLM 기반 업무 보조 앱으로, 개인정보 보호를 위해 모든 데이터를 기기 내에서 처리합니다. 회의 녹음, 요약, 자동 완성, MCP 기반 코딩 에이전트 연동 등 강력한 생산성 기능을 무료로 제공합니다.
8월 4일1
r/LocalLLaMAAI 번역분석
M5 Air 32gb에서 DeepSeek v4 Flash 0731 4bit 구동 시 ~50tps prefill, ~1tps decode 달성
M5 Air 32GB 환경에서 DeepSeek v4 Flash 모델을 구동하며 prefill 속도를 최적화하는 실험 결과입니다. Streamed experts 기법과 자체적인 트릭을 통해 50tps 이상의 prefill 속도를 달성했습니다.
8월 4일2
r/LocalLLaMAAI 번역분석
2x GH200을 위한 최적화된 DSv4-Flash: SGLang에서 10,000 tok/s PP 및 >300 tok/s TG 달성
GH200 듀얼 시스템 환경에서 DSv4-Flash 모델의 추론 성능을 극대화하는 최적화 방법을 소개합니다. vLLM과 SGLang을 활용하여 매우 긴 컨텍스트에서도 높은 Prefill 및 Decode 속도를 달성하는 구체적인 설정과 트릭을 다룹니다.
8월 4일1
r/LocalLLaMAAI 번역분석
2× RTX 5090 또는 1× RTX Pro 6000에서 SGLang Diffusion을 사용하여 MiniMax-H3를 로컬로 실행하기
MiniMax의 새로운 멀티모달 모델 H3를 SGLang Diffusion을 통해 로컬 환경에서 실행하는 방법을 소개합니다. RTX 5090 2개 또는 RTX Pro 6000 1개만으로 텍1스트, 이미지, 비디오, 오디오를 통합 처리하는 고해상도 비디오 생성이 가능합니다.
8월 3일2
r/LocalLLaMAAI 번역분석
ESP32S3에서 완전히 오프라인으로 실행되는 에스프레소 Q/A 모델
ESP32S3 환경에서 클라우드 연결 없이 완전히 오프라인으로 작동하는 에스프레소 Q/A 전용 소형 모델 'barista v0.1'을 소개합니다. 메모리 효율을 위해 레이어별 임베딩과 비대칭 어휘 기술을 사용하여 제한된 하드웨어 자원에서 텍스트 생성을 구현했습니다.
8월 3일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 - Happy Numbers (700pp/18tg) 및 고찰
DeepSeek-V4-Flash 모델을 llama.cpp 환경에서 최적화하여 구동한 성능 테스트 결과입니다. 특정 설정(--cpu-moe)을 통해 높은 처리 속도를 달성했으나, FP8 캐시 미지원 및 배치 크기 제한 등의 기술적 한계와 하드웨어 구성 방안을 다룹니다.
8월 3일1
r/LocalLLaMAAI 번역분석
팁: Windows 검색(Win+Q)을 사용하여 기본 모델과 함께 llama.cpp Router Mode를 실행하는 방법
Windows 검색 기능을 활용하여 llama.cpp의 Router Mode를 빠르고 편리하게 실행하는 설정 방법을 소개합니다. 배치 스크립트와 config.ini 파일을 사용하여 여러 모델을 관리하고 서버를 즉시 구동할 수 있습니다.
8월 3일1
r/LocalLLaMAAI 번역분석
클래식 벡터 RAG vs Google의 새로운 OKF 포맷 vs 두 방식의 결합 벤치마크 — 동일 코퍼스, 동일 7개 질문, 모두 로컬 환경
Google의 새로운 OKF 포맷과 클래식 벡터 RAG의 성능을 로컬 환경에서 비교 벤치마크한 결과입니다. OKF와 RAG를 결합했을 때 정답률은 높아지지만 토큰 소모가 증가하며, 데이터의 최신성 문제나 청킹 오류 등 여전히 해결해야 할 한계점이 존재함을 보여줍니다.
8월 3일0
r/LocalLLaMAAI 번역분석
AI와 1996년형 Ford Taurus...
자동차 생산 라인의 '실수 방지(Poka Yoke)' 원리를 AI 에이전트 워크플로우에 적용하는 관점을 제시합니다. 개별 AI 모델의 지능에 의존하기보다, 실수가 불가능하도록 설계된 정교한 프로세스와 시스템 구축의 중요성을 강조합니다.
8월 3일0
r/LocalLLaMAAI 번역분석
Parlor v2: M3 Pro에서 실행되는 최선의 노력으로 구현된 완전 로컬 GPT-Live 클론
M3 Pro 칩에서 실행 가능한 로컬 GPT-Live 클론인 Parlor v2를 소개합니다. 전이중(Full-duplex) 모델 구현 시도와 실패를 거쳐, 현재는 캐스케이드(Cascade) 시스템 방식을 채택하여 구현되었습니다.
8월 3일2
r/LocalLLaMAAI 번역분석
GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터
WASTE는 C 언어로 작성된 임베디드 추론 엔진으로, NVMe에서 가중치를 직접 스트리밍하여 RAM 용량을 초과하는 대규모 모델을 실행할 수 있게 합니다. 모델 트렁크는 메모리에 유지하고 필요한 전문가(experts)만 디스크에서 불러와 효율적인 추론을 지원합니다.
8월 3일0
r/LocalLLaMAAI 번역분석
공지: llama.app, Mac용 앱 및 llama.cpp를 통한 llama serve
llama.cpp 팀에서 개발한 공식 Mac용 앱 llama.app과 llama serve를 소개합니다. Ollama와 유사한 사용자 경험을 제공하며, Mac 환경에서 로컬 LLM을 더욱 쉽고 간편하게 설치하고 사용할 수 있도록 지원합니다.
8월 2일1