Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Kokoro 82M, Qwen, llama.cpp를 활용한 완전 로컬 PDF 읽어주기 및 PDF-to-Audiobook 데스크톱 앱 제작
Kokoro 82M, Qwen, llama.cpp를 활용하여 모든 기능을 로컬에서 실행하는 PDF/EPUB 전용 데스크톱 앱 Speechfony를 소개합니다. 클라우드 연결 없이 온디바이스 임베딩과 TTS를 통해 보안성이 높고 오프라인 작동이 가능한 오디오북 제작 환경을 제공합니다.
8월 5일1
r/LocalLLaMAAI 번역분석
VibeVoice 1.5B를 로컬에서 실행... iPhone에서! 단 ~2.2 GB의 메모리와 최대 1.28배의 실시간 속도로
VibeVoice 1.5B 모델을 iPhone 로컬 환경에서 실행하는 기술을 소개합니다. 약 2.2GB의 메모리만으로 구동 가능하며, 실시간 속도 대비 최대 1.28배 빠른 성능을 보여줍니다.
8월 5일1
r/LocalLLaMAAI 번역분석
Qwen3.8 27b를 기다리는 동안 시간을 보내기 위해 - 오래된 픽셀 아트 디스플레이로 vLLM Ray 클러스터 대시보드 구축
사용자가 GLM 5.2 에이전트를 활용하여 오래된 픽셀 아트 디스플레이를 vLLM Ray 클러스터의 GPU 모니터링 대시보드로 재활용하는 프로젝트를 소개합니다. 에이전트가 Python 코드를 작성하여 GPU 온도, 사용률, 토큰 생성 정보를 픽셀 디스플레이에 시각화하도록 구현했습니다.
8월 5일1
r/LocalLLaMAAI 번역분석
DSpark를 이용한 SM89 4x48gb 4090s 환경에서의 DeepSeek-V4-Flash 구동
SM89 아키텍처 기반의 4090 GPU 4장을 활용하여 DeepSeek-V4-Flash 모델을 구동하는 데 성공한 사례를 소개합니다. DSpark와 vLLM을 사용하여 64k에서 최대 256k 컨텍스트 길이를 지원하며 안정적으로 작동함을 보여줍니다.
8월 5일1
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-Mini 54GB GGUF 약 20.5 t/s 속도로 실행
DeepSeek-V4-Flash 모델을 극단적인 2비트 혼합 양자화(IQ2_XXS) 기술을 통해 54GB 크기로 압축하여 실행한 실험 결과입니다. VRAM 점유율을 40GB 이상 대폭 줄이면서도 초당 약 20.5개의 토큰을 생성하는 성능을 확인했습니다.
8월 5일1
r/LocalLLaMAAI 번역분석
GPT-OSS가 오늘로 출시 1주년을 맞이했습니다!
GPT-OSS 출시 1주년을 맞아 20B 및 120B 모델의 성능을 분석합니다. Qwen 3.5 및 Nemotron 3 Super와 비교하여 GPT-OSS 120B의 속도와 로컬 친화적 형식(MXFP4)의 우수성을 강조합니다.
8월 4일1
r/LocalLLaMAAI 번역분석
단일 RTX 5090에서 DeepSeek-V4-Flash-0731 구동 업데이트: 이중 CUDA 그래프를 활용한 phase-adaptive
단일 RTX 5090 환경에서 DeepSeek-V4-Flash-0731 모델을 1M 컨텍스트로 구동하기 위한 최적화 기술을 소개합니다. 이중 CUDA 그래프와 phase-adaptive DSpark 패치를 통해 추론 단계와 생성 단계의 수락률 차이를 극복하고 처리량을 개선했습니다.
8월 4일2
r/LocalLLaMAAI 번역분석
Qwen 3.8 Max, Debate Benchmark에서 Qwen 3.7 Max보다 성능 향상: 1462 → 1588. 하지만 토론당 평균
Qwen 3.8 Max 모델이 Debate Benchmark에서 이전 버전인 Qwen 3.7 Max보다 향상된 성능을 기록했습니다. 이 벤치마크는 LLM이 다회차 토론 환경에서 논리적 일관성과 사실 관계를 얼마나 잘 유지하는지 측정합니다.
8월 4일3
r/LocalLLaMAAI 번역분석
단일 RTX 4090에서 64k 컨텍스트로 실행되는 DeepSeek V4 Flash (UD-Q3_K_M) — 설정 및 측정 수치
RTX 4090과 128GB RAM 환경에서 DeepSeek V4 Flash 모델을 64k 컨텍스트로 실행한 설정과 성능 측정 결과를 공유합니다. MoE 구조를 활용해 어텐션과 KV 캐시는 GPU에, 전문가 FFN은 시스템 RAM에 배치하는 최적화 방식을 다룹니다.
8월 4일0
r/LocalLLaMAAI 번역분석
16x GB10 클러스터에서 평균 20+tps로 실행되는 Kimi K3 풀 모델
16x GB10 클러스터 환경에서 Kimi K3 풀 모델을 dspark를 통해 실행한 성능 결과입니다. 평균 20+ tps의 속도를 기록했으며, 향후 vLLM 이미지와 상세 사용 지침을 공유할 예정입니다.
8월 4일1
r/LocalLLaMAAI 번역분석
DeepSeek v4 Flash vs. Qwen3.6-27B, 3.5-122B, 및 Gemma 4 31B 벤치마크
DeepSeek v4 Flash, Qwen 시리즈, Gemma 4 31B 모델을 대상으로 에이전트 기반 코딩 벤치마크를 수행한 결과입니다. 모델별 추론 노력(Reasoning efforts)에 따른 성공률, 디프(Diff) 품질, 토큰 소비량 및 비용 효율성을 상세히 비교 분석했습니다.
8월 4일2
r/LocalLLaMAAI 번역분석
Cursor, MoE 모델 학습을 위한 Mixture-of-Kittens 메가커널(megakernel) 출시 - TFLOP/s를 거의 두 배로
Cursor가 MoE(Mixture-of-Experts) 모델 학습 성능을 극대화하기 위한 'Mixture-of-Kittens' 메가커널을 출시했습니다. 이 커널을 통해 TFLOP/s 성능을 거의 두 배 가까이 향상시킬 수 있습니다.
8월 4일1
r/LocalLLaMAAI 번역분석
코드만으로 디자인 시스템 구축 - 외부 이미지 없이 CSS 그라데이션, SVG 경로, 타이포그래피, 레이아웃을 사용하여 Bauhaus
외부 이미지 파일 없이 CSS 그라데이션, SVG 경로, 타이포그래피, 레이아웃만을 활용하여 Bauhaus 스타일의 디자인 시스템을 구축하는 방법을 다룹니다.
8월 4일1
r/LocalLLaMAAI 번역분석
연구소가 가중치를 무료로 공개할 수 있는 방법은 단 두 가지뿐이며, 그중 하나는 IPO를 견디지 못한다
AI 연구소들이 모델 가중치를 무료로 공개하며 생태계를 구축하는 다양한 자금 조달 및 비즈니스 전략을 분석합니다. DeepSeek, Qwen, Zhipu 등 주요 기업들의 지분 구조와 수익 모델을 통해 오픈 소스 전략의 지속 가능성을 다룹니다.
8월 4일1
r/LocalLLaMAAI 번역분석
5090의 전력 제한을 최소 480W로 낮추세요 - 추론 (Inference) 시 성능 저하는 미미합니다.
RTX 5090의 전력 제한을 480W로 설정할 경우, 소음과 발열을 크게 줄이면서도 추론 성능 저하는 미미함을 실험을 통해 확인했습니다. 450W 이하로 낮추면 성능 저하가 급격해지므로 480W가 효율적인 지점입니다.
8월 4일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 (Q4)가 단일 RTX PRO 6000에서 프리필(prefill) 1,328 tok/s 및
Krasis를 활용하여 단일 RTX PRO 6000 GPU에서 DeepSeek-V4-Flash-0731 모델의 프리필(prefill) 속도를 대폭 향상시킨 성능 측정 결과입니다. VRAM 제한을 극복하기 위해 전문가(experts)를 스트리밍하고 관리하는 최적화 기법을 적용했습니다.
8월 4일1
r/LocalLLaMAAI 번역분석
Deepseek V4 Flash-0731: 8x 5090에서 $2.5/시간으로 2000+ tps 달성
RTX 5090 8장을 활용하여 Deepseek V4 Flash 모델에서 시간당 2.5달러의 비용으로 2000+ TPS를 달성한 실험 결과입니다. REAP mxfp4 이미지를 통해 높은 KV 캐시 효율을 확보하고 다수의 동시 세션을 구성하는 최적화 방법을 다룹니다.
8월 4일1
r/LocalLLaMAAI 번역분석
srt2speech: 음성 복제 및 자동 길이 매칭을 지원하는 오픈 소스 다국어 SRT 내레이션 도구 - 오프라인 및 경량화
srt2speech는 SRT 자막의 타이밍에 맞춰 음성을 생성하고 자동으로 길이를 매칭하는 오픈 소스 다국어 내레이션 도구입니다. 외부 API 없이 로컬 환경에서 음성 복제와 다중 화자 지원이 가능하며, 경량화된 설계를 통해 다양한 하드웨어에서 구동됩니다.
8월 4일1
r/LocalLLaMAAI 번역분석
DantinoX: 언어 모델 패러다임 연구를 위한 통합 JAX/Flax 라이브러리
DantinoX는 JAX/Flax 기반의 통합 라이브러리로, 표준 자기회귀, 이산 마스크 확산, 연속 흐름 매칭 등 다양한 생성 패러다임을 동일한 프레임워크 내에서 비교 연구할 수 있게 설계되었습니다. 멀티 GPU 지원과 최신 아키텍처 구성 요소를 갖추어 모델 연구의 효율성을 높입니다.
8월 4일2
r/LocalLLaMAAI 번역분석
[DeepSeek-V4-Flash-0731] 단일 RTX 5090 + DDR5 데스크탑 환경에서 vLLM CPU/RAM 오프로딩을 통한 1M
RTX 5090과 대용량 DDR5 RAM을 활용하여 DeepSeek-V4-Flash 모델을 vLLM의 CPU/RAM 오프로딩 기술로 구동하는 방법을 다룹니다. FlashInfer 라이브러리의 CUDA 라이브러리 경로 인식 오류를 해결하기 위한 로컬 패치 방법과 최적화된 실행 환경 설정을 공유합니다.
8월 4일1