오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Prime Agent - Codex/CC/PI를 능가하는 새로운 코딩 하네스 (harness)
Prime Agent는 코딩 및 장기적 자율 작업을 위해 설계된 오픈 소스 자기 개선형 RLM 하네스입니다. 도구 호출과 멀티 에이전트 메시징을 통해 토큰 효율성을 높였으며, ARC-AGI-3 벤치마크에서 인간 전문가 수준의 성능을 입증했습니다.
8월 5일1
r/LocalLLaMAAI 번역분석
에이전트 아키텍처: 인자(Arguments)는 조회되는 것이지, 생성되는 것이 아니다
AI 에이전트 설계 시 모델이 인자를 임의로 생성(Hallucination)하지 않도록, 인자의 출처를 추적하는 조회(Lookup) 기반 아키텍처를 제안합니다. 데이터의 출처 체인을 통해 검증하고, 불확실한 정보는 '알 수 없음'으로 처리하여 사용자에게 질문하도록 유도하는 것이 핵심입니다.
8월 5일1
r/LocalLLaMAAI 번역분석
로컬 qwen3:8b가 영어 질문을 9개 노드 조사 그래프로 변환하는 과정 - 계획, 결정론적 게이트(deterministic gate) 승인
LangGraph 기반의 GraphARC는 로컬 LLM을 사용하여 복잡한 조사 과정을 그래프 구조로 변환하고 실행하는 에이전트 프레임워크입니다. 결정론적 승인 게이트를 통해 모델의 제안을 검토하고, 정책에 따른 거절(refusal) 메커니즘을 활용하여 안전하고 통제된 실행을 보장합니다.
8월 5일1
r/LocalLLaMAAI 번역분석
faster megakernel을 통한 MoE 학습 40% 가속화 (B200용)
B200 GPU를 위한 faster megakernel을 통해 MoE(Mixture of Experts) 학습 속도를 약 40% 가속화할 수 있는 오픈 소스 기술이 공개되었습니다. 순전파(forward) 단계에서 최대 140%의 성능 향상을 주장하며, Apache 2.0 라이선스로 제공됩니다.
8월 5일1
r/LocalLLaMAAI 번역분석
Scenema Audio가 ComfyUI에 출시되었습니다, 8GB VRAM에서 실행 가능
Scenema Audio가 ComfyUI용 네이티브 커스텀 노드로 출시되었습니다. 8GB VRAM에서도 실행 가능하도록 양자화되었으며, 제로샷 음성 복제와 감정 표현이 가능한 TTS 기능을 제공합니다.
8월 5일1
r/LocalLLaMAAI 번역분석
10GB 미만 메모리에서 Inkling-Small 276B-A12B가 약 2.9 tok/s로 작동
Mference 프로젝트를 통해 Inkling-Small 276B-A12B와 같은 대규모 MoE 모델을 10GB 미만의 메모리 환경에서 구동하는 방법을 소개합니다. Swift와 Metal 기반으로 제작되어 Mac 하드웨어에 최적화되었으며, 소비자급 기기에서의 대형 모델 실행을 목표로 합니다.
8월 5일0
r/LocalLLaMAAI 번역분석
[DSV4-0731] 3x3090+DDR5 환경에서 1MM 손실 없는 컨텍스트(lossless ctx), 300PP, 15TG 달성
3x3090 및 DDR5 환경에서 1MM 컨텍스트 손실 없이 300PP를 달성한 기술적 성과를 다룹니다. llama.cpp 커스텀 빌드와 MoE 전문가 오프로드 방식을 통해 대규모 컨텍스트 처리 성능을 최적화했습니다.
8월 5일1
r/LocalLLaMAAI 번역분석
llama.cpp 설정 오류 주의 안내 (--tools 또는 -ag 사용 시 RCE 위험)
llama.cpp 실행 시 API 키를 설정하지 않고 --tools 또는 -ag 옵션을 사용할 경우 원격 코드 실행(RCE) 취약점이 발생할 수 있습니다. 에이전트 설정과 보안 구성을 반드시 점검해야 합니다.
8월 5일0
r/LocalLLaMAAI 번역분석
Deepseek V4/Gemma4/Qwen/GPT-OSS에서의 MoE CPU-offload 벤치마크 — TensorSharp vs
TensorSharp의 MoE CPU-offload 기능이 메인 브랜치에 병합되었습니다. 이 기능은 MoE 모델의 전문가 가중치를 시스템 RAM에 유지하여 저사양 GPU에서도 대규모 모델을 실행할 수 있게 하며, llama.cpp 대비 우수한 성능을 보여줍니다.
8월 5일1
r/LocalLLaMAAI 번역분석
llama.cpp + Spark GB10 + DS-V4-Flash + DSpark = 23+ tok/s
llama.cpp와 DSpark를 활용하여 Spark GB10 환경에서 DeepSeek-V4-Flash 모델의 추론 성능을 최적화하는 가이드입니다. 특정 NVIDIA 드라이버 및 CUDA 설정, 펌웨어 업데이트를 통해 코드 생성 시 최대 33 tok/s의 속도를 달성하는 방법을 다룹니다.
8월 5일2
r/LocalLLaMAAI 번역분석
Kokoro 82M, Qwen, llama.cpp를 활용한 완전 로컬 PDF 읽어주기 및 PDF-to-Audiobook 데스크톱 앱 제작
Kokoro 82M, Qwen, llama.cpp를 활용하여 모든 기능을 로컬에서 실행하는 PDF/EPUB 전용 데스크톱 앱 Speechfony를 소개합니다. 클라우드 연결 없이 온디바이스 임베딩과 TTS를 통해 보안성이 높고 오프라인 작동이 가능한 오디오북 제작 환경을 제공합니다.
8월 5일1
r/LocalLLaMAAI 번역분석
VibeVoice 1.5B를 로컬에서 실행... iPhone에서! 단 ~2.2 GB의 메모리와 최대 1.28배의 실시간 속도로
VibeVoice 1.5B 모델을 iPhone 로컬 환경에서 실행하는 기술을 소개합니다. 약 2.2GB의 메모리만으로 구동 가능하며, 실시간 속도 대비 최대 1.28배 빠른 성능을 보여줍니다.
8월 5일1
r/LocalLLaMAAI 번역분석
Qwen3.8 27b를 기다리는 동안 시간을 보내기 위해 - 오래된 픽셀 아트 디스플레이로 vLLM Ray 클러스터 대시보드 구축
사용자가 GLM 5.2 에이전트를 활용하여 오래된 픽셀 아트 디스플레이를 vLLM Ray 클러스터의 GPU 모니터링 대시보드로 재활용하는 프로젝트를 소개합니다. 에이전트가 Python 코드를 작성하여 GPU 온도, 사용률, 토큰 생성 정보를 픽셀 디스플레이에 시각화하도록 구현했습니다.
8월 5일1
r/LocalLLaMAAI 번역분석
DSpark를 이용한 SM89 4x48gb 4090s 환경에서의 DeepSeek-V4-Flash 구동
SM89 아키텍처 기반의 4090 GPU 4장을 활용하여 DeepSeek-V4-Flash 모델을 구동하는 데 성공한 사례를 소개합니다. DSpark와 vLLM을 사용하여 64k에서 최대 256k 컨텍스트 길이를 지원하며 안정적으로 작동함을 보여줍니다.
8월 5일1
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-Mini 54GB GGUF 약 20.5 t/s 속도로 실행
DeepSeek-V4-Flash 모델을 극단적인 2비트 혼합 양자화(IQ2_XXS) 기술을 통해 54GB 크기로 압축하여 실행한 실험 결과입니다. VRAM 점유율을 40GB 이상 대폭 줄이면서도 초당 약 20.5개의 토큰을 생성하는 성능을 확인했습니다.
8월 5일1
r/LocalLLaMAAI 번역분석
단일 RTX 5090에서 DeepSeek-V4-Flash-0731 구동 업데이트: 이중 CUDA 그래프를 활용한 phase-adaptive
단일 RTX 5090 환경에서 DeepSeek-V4-Flash-0731 모델을 1M 컨텍스트로 구동하기 위한 최적화 기술을 소개합니다. 이중 CUDA 그래프와 phase-adaptive DSpark 패치를 통해 추론 단계와 생성 단계의 수락률 차이를 극복하고 처리량을 개선했습니다.
8월 4일2
r/LocalLLaMAAI 번역분석
단일 RTX 4090에서 64k 컨텍스트로 실행되는 DeepSeek V4 Flash (UD-Q3_K_M) — 설정 및 측정 수치
RTX 4090과 128GB RAM 환경에서 DeepSeek V4 Flash 모델을 64k 컨텍스트로 실행한 설정과 성능 측정 결과를 공유합니다. MoE 구조를 활용해 어텐션과 KV 캐시는 GPU에, 전문가 FFN은 시스템 RAM에 배치하는 최적화 방식을 다룹니다.
8월 4일0
r/LocalLLaMAAI 번역분석
16x GB10 클러스터에서 평균 20+tps로 실행되는 Kimi K3 풀 모델
16x GB10 클러스터 환경에서 Kimi K3 풀 모델을 dspark를 통해 실행한 성능 결과입니다. 평균 20+ tps의 속도를 기록했으며, 향후 vLLM 이미지와 상세 사용 지침을 공유할 예정입니다.
8월 4일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash 0731 (Q4)가 단일 RTX PRO 6000에서 프리필(prefill) 1,328 tok/s 및
Krasis를 활용하여 단일 RTX PRO 6000 GPU에서 DeepSeek-V4-Flash-0731 모델의 프리필(prefill) 속도를 대폭 향상시킨 성능 측정 결과입니다. VRAM 제한을 극복하기 위해 전문가(experts)를 스트리밍하고 관리하는 최적화 기법을 적용했습니다.
8월 4일1
r/LocalLLaMAAI 번역분석
Deepseek V4 Flash-0731: 8x 5090에서 $2.5/시간으로 2000+ tps 달성
RTX 5090 8장을 활용하여 Deepseek V4 Flash 모델에서 시간당 2.5달러의 비용으로 2000+ TPS를 달성한 실험 결과입니다. REAP mxfp4 이미지를 통해 높은 KV 캐시 효율을 확보하고 다수의 동시 세션을 구성하는 최적화 방법을 다룹니다.
8월 4일1