오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
srt2speech: 음성 복제 및 자동 길이 매칭을 지원하는 오픈 소스 다국어 SRT 내레이션 도구 - 오프라인 및 경량화
srt2speech는 SRT 자막의 타이밍에 맞춰 음성을 생성하고 자동으로 길이를 매칭하는 오픈 소스 다국어 내레이션 도구입니다. 외부 API 없이 로컬 환경에서 음성 복제와 다중 화자 지원이 가능하며, 경량화된 설계를 통해 다양한 하드웨어에서 구동됩니다.
8월 4일1
r/LocalLLaMAAI 번역분석
[DeepSeek-V4-Flash-0731] 단일 RTX 5090 + DDR5 데스크탑 환경에서 vLLM CPU/RAM 오프로딩을 통한 1M
RTX 5090과 대용량 DDR5 RAM을 활용하여 DeepSeek-V4-Flash 모델을 vLLM의 CPU/RAM 오프로딩 기술로 구동하는 방법을 다룹니다. FlashInfer 라이브러리의 CUDA 라이브러리 경로 인식 오류를 해결하기 위한 로컬 패치 방법과 최적화된 실행 환경 설정을 공유합니다.
8월 4일2
r/LocalLLaMAAI 번역분석
16GB 사양의 기기에서 Qwen3.6-35B-A3B를 구동하기 위한 DwarfStar 기반 Vulkan/Metal 추론 엔진 구축
저사양 기기에서도 대규모 언어 모델을 구동할 수 있도록 설계된 QuarkStar 추론 엔진을 소개합니다. Vulkan과 Metal을 지원하며, 16GB 메모리 환경에서 Qwen3.6-35B-A3B 모델을 효율적으로 실행할 수 있는 최적화 기술을 제공합니다.
8월 4일1
r/LocalLLaMAAI 번역분석
LokalBot: 기기 내 로컬 LLM을 활용하여 업무 효율을 극대화하는 macOS 앱
LokalBot은 macOS 전용 로컬 LLM 기반 업무 보조 앱으로, 개인정보 보호를 위해 모든 데이터를 기기 내에서 처리합니다. 회의 녹음, 요약, 자동 완성, MCP 기반 코딩 에이전트 연동 등 강력한 생산성 기능을 무료로 제공합니다.
8월 4일1
r/LocalLLaMAAI 번역분석
M5 Air 32gb에서 DeepSeek v4 Flash 0731 4bit 구동 시 ~50tps prefill, ~1tps decode 달성
M5 Air 32GB 환경에서 DeepSeek v4 Flash 모델을 구동하며 prefill 속도를 최적화하는 실험 결과입니다. Streamed experts 기법과 자체적인 트릭을 통해 50tps 이상의 prefill 속도를 달성했습니다.
8월 4일2
r/LocalLLaMAAI 번역분석
2x GH200을 위한 최적화된 DSv4-Flash: SGLang에서 10,000 tok/s PP 및 >300 tok/s TG 달성
GH200 듀얼 시스템 환경에서 DSv4-Flash 모델의 추론 성능을 극대화하는 최적화 방법을 소개합니다. vLLM과 SGLang을 활용하여 매우 긴 컨텍스트에서도 높은 Prefill 및 Decode 속도를 달성하는 구체적인 설정과 트릭을 다룹니다.
8월 4일1
r/LocalLLaMAAI 번역분석
2× RTX 5090 또는 1× RTX Pro 6000에서 SGLang Diffusion을 사용하여 MiniMax-H3를 로컬로 실행하기
MiniMax의 새로운 멀티모달 모델 H3를 SGLang Diffusion을 통해 로컬 환경에서 실행하는 방법을 소개합니다. RTX 5090 2개 또는 RTX Pro 6000 1개만으로 텍1스트, 이미지, 비디오, 오디오를 통합 처리하는 고해상도 비디오 생성이 가능합니다.
8월 3일10
r/LocalLLaMAAI 번역분석
ESP32S3에서 완전히 오프라인으로 실행되는 에스프레소 Q/A 모델
ESP32S3 환경에서 클라우드 연결 없이 완전히 오프라인으로 작동하는 에스프레소 Q/A 전용 소형 모델 'barista v0.1'을 소개합니다. 메모리 효율을 위해 레이어별 임베딩과 비대칭 어휘 기술을 사용하여 제한된 하드웨어 자원에서 텍스트 생성을 구현했습니다.
8월 3일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 - Happy Numbers (700pp/18tg) 및 고찰
DeepSeek-V4-Flash 모델을 llama.cpp 환경에서 최적화하여 구동한 성능 테스트 결과입니다. 특정 설정(--cpu-moe)을 통해 높은 처리 속도를 달성했으나, FP8 캐시 미지원 및 배치 크기 제한 등의 기술적 한계와 하드웨어 구성 방안을 다룹니다.
8월 3일1
r/LocalLLaMAAI 번역분석
팁: Windows 검색(Win+Q)을 사용하여 기본 모델과 함께 llama.cpp Router Mode를 실행하는 방법
Windows 검색 기능을 활용하여 llama.cpp의 Router Mode를 빠르고 편리하게 실행하는 설정 방법을 소개합니다. 배치 스크립트와 config.ini 파일을 사용하여 여러 모델을 관리하고 서버를 즉시 구동할 수 있습니다.
8월 3일1
r/LocalLLaMAAI 번역분석
클래식 벡터 RAG vs Google의 새로운 OKF 포맷 vs 두 방식의 결합 벤치마크 — 동일 코퍼스, 동일 7개 질문, 모두 로컬 환경
Google의 새로운 OKF 포맷과 클래식 벡터 RAG의 성능을 로컬 환경에서 비교 벤치마크한 결과입니다. OKF와 RAG를 결합했을 때 정답률은 높아지지만 토큰 소모가 증가하며, 데이터의 최신성 문제나 청킹 오류 등 여전히 해결해야 할 한계점이 존재함을 보여줍니다.
8월 3일0
r/LocalLLaMAAI 번역분석
AI와 1996년형 Ford Taurus...
자동차 생산 라인의 '실수 방지(Poka Yoke)' 원리를 AI 에이전트 워크플로우에 적용하는 관점을 제시합니다. 개별 AI 모델의 지능에 의존하기보다, 실수가 불가능하도록 설계된 정교한 프로세스와 시스템 구축의 중요성을 강조합니다.
8월 3일0
r/LocalLLaMAAI 번역분석
Parlor v2: M3 Pro에서 실행되는 최선의 노력으로 구현된 완전 로컬 GPT-Live 클론
M3 Pro 칩에서 실행 가능한 로컬 GPT-Live 클론인 Parlor v2를 소개합니다. 전이중(Full-duplex) 모델 구현 시도와 실패를 거쳐, 현재는 캐스케이드(Cascade) 시스템 방식을 채택하여 구현되었습니다.
8월 3일2
r/LocalLLaMAAI 번역분석
GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터
WASTE는 C 언어로 작성된 임베디드 추론 엔진으로, NVMe에서 가중치를 직접 스트리밍하여 RAM 용량을 초과하는 대규모 모델을 실행할 수 있게 합니다. 모델 트렁크는 메모리에 유지하고 필요한 전문가(experts)만 디스크에서 불러와 효율적인 추론을 지원합니다.
8월 3일0
r/LocalLLaMAAI 번역분석
공지: llama.app, Mac용 앱 및 llama.cpp를 통한 llama serve
llama.cpp 팀에서 개발한 공식 Mac용 앱 llama.app과 llama serve를 소개합니다. Ollama와 유사한 사용자 경험을 제공하며, Mac 환경에서 로컬 LLM을 더욱 쉽고 간편하게 설치하고 사용할 수 있도록 지원합니다.
8월 2일1
r/LocalLLaMAAI 번역분석
한 번에 작동하는 로컬 웨이크 워드(Wake Word) 구축을 위한 5가지 팁
로컬 환경에서 안정적인 웨이크 워드(Wake Word) 시스템을 구축하기 위한 5가지 실무 팁을 제공합니다. 볼륨 튜닝의 함정, 로컬 추론 엔진의 스레드 안전성 문제, 하드웨어 사양 고려 및 오작동 방지 전략을 다룹니다.
8월 2일0
r/LocalLLaMAAI 번역분석
llama.cpp가 재시작 후에도 기억하도록 만들었습니다: 54.4초의 prefill이 새 프로세스에서 3.5초로 단축 (무료 ARM 서버)
llama.cpp의 KV 캐시를 디스크에 저장하여 프로세스 재시작 후에도 프리필(prefill) 속도를 획기적으로 단축하는 최적화 방법을 소개합니다. ARM 서버 환경에서 실험을 통해 TTFT를 개선하고, 추측 디코딩과의 충돌 문제 및 프롬프트 구조화의 중요성을 분석했습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
Deepseek v4 flash - prefill/pp에서 100-150 t/s 더 빠른 속도
Deepseek v4 flash 모델의 prefill 및 pipeline parallel 속도를 개선하기 위한 CUDA 버전 최적화 방법을 다룹니다. CUDA 13.2 이상의 버전에서 발생하는 DeviceTopK 이슈로 인한 성능 저하를 해결하기 위해 CUDA 13.1로의 다운그레이드를 권장합니다.
8월 2일0
r/LocalLLaMAAI 번역분석
vLLM-Moet 2-bit 양자화를 사용하여 DGX Spark에서 DeepSeek-V4-Flash-0731 (155 GB MoE) 실행하기
vLLM-Moet 2-bit 양자화를 활용하여 단일 DGX Spark 환경에서 DeepSeek-V4-Flash 모델을 실행하는 기술적 방법을 공유합니다. ARM64 아키텍처에서의 빌드 주의사항과 MTP(Multi-Token Prediction) 적용 시의 성능 변화를 다룹니다.
8월 2일2
r/LocalLLaMAAI 번역분석
프롬프트, 계획, 기술 등을 작성하고 감사하기 위한 AI 재귀적 규칙 세트 제작
AI의 출력 품질을 높이기 위해 프롬프트, 계획, 기술 등을 체계적으로 작성하고 관리하는 재귀적 규칙 세트 제작 방법을 다룹니다. LLM 특유의 정형화된 문체를 탈피하고 에이전트용 설정 파일(AGENTS.md, CLAUDE.md)을 활용하는 전략을 제안합니다.
8월 2일0