Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
팁: Windows 검색(Win+Q)을 사용하여 기본 모델과 함께 llama.cpp Router Mode를 실행하는 방법
Windows 검색 기능을 활용하여 llama.cpp의 Router Mode를 빠르고 편리하게 실행하는 설정 방법을 소개합니다. 배치 스크립트와 config.ini 파일을 사용하여 여러 모델을 관리하고 서버를 즉시 구동할 수 있습니다.
8월 3일1
r/LocalLLaMAAI 번역분석
클래식 벡터 RAG vs Google의 새로운 OKF 포맷 vs 두 방식의 결합 벤치마크 — 동일 코퍼스, 동일 7개 질문, 모두 로컬 환경
Google의 새로운 OKF 포맷과 클래식 벡터 RAG의 성능을 로컬 환경에서 비교 벤치마크한 결과입니다. OKF와 RAG를 결합했을 때 정답률은 높아지지만 토큰 소모가 증가하며, 데이터의 최신성 문제나 청킹 오류 등 여전히 해결해야 할 한계점이 존재함을 보여줍니다.
8월 3일0
r/LocalLLaMAAI 번역분석
단일 RTX 3090에서 실행되는 Döner Bench DeepSeek-V4-Flash IQ2_XS
RTX 3090 환경에서 DeepSeek-V4-Flash 모델을 IQ2_XS 양자화 버전으로 실행한 벤치마크 결과입니다. 극도로 낮은 비트의 양자화 상태에서도 HTML/JS를 이용한 복잡한 애니메이션 시뮬레이션 코드를 성공적으로 생성함을 확인했습니다.
8월 3일0
r/LocalLLaMAAI 번역분석
[릴리스] SupraBrain-50M-v0.1
Gated DeltaNet 선형 재귀와 Sliding-Window Attention을 결합한 하이브리드 언어 모델 SupraBrain-50M을 출시했습니다. 5B 토큰의 적은 데이터로 학습되었음에도 불구하고 기존 모델과 대등한 성능을 보여줍니다.
8월 3일1
r/LocalLLaMAAI 번역분석
오픈 웨이트 (Open weight) 모델이 프론티어 (Frontier) 수준에 도달했다
오픈 웨이트(Open weight) 모델의 성능이 프론티어 모델 수준에 도달했음을 시사하는 내용입니다. 모델의 개방성과 성능 간의 관계를 다룹니다.
8월 3일1
r/LocalLLaMAAI 번역분석
MiniMax H3, 이제 Hugging Face에서 이용 가능
MiniMax H3는 텍스트, 이미지, 비디오, 오디오를 통합적으로 이해하고 생성하는 범용 옴니모달 시스템입니다. Hugging Face를 통해 이용 가능하며, 고해상도 비디오와 스테레오 오디오 생성 능력을 갖추고 있습니다.
8월 3일0
r/LocalLLaMAAI 번역분석
AI와 1996년형 Ford Taurus...
자동차 생산 라인의 '실수 방지(Poka Yoke)' 원리를 AI 에이전트 워크플로우에 적용하는 관점을 제시합니다. 개별 AI 모델의 지능에 의존하기보다, 실수가 불가능하도록 설계된 정교한 프로세스와 시스템 구축의 중요성을 강조합니다.
8월 3일0
r/LocalLLaMAAI 번역분석
Parlor v2: M3 Pro에서 실행되는 최선의 노력으로 구현된 완전 로컬 GPT-Live 클론
M3 Pro 칩에서 실행 가능한 로컬 GPT-Live 클론인 Parlor v2를 소개합니다. 전이중(Full-duplex) 모델 구현 시도와 실패를 거쳐, 현재는 캐스케이드(Cascade) 시스템 방식을 채택하여 구현되었습니다.
8월 3일2
r/LocalLLaMAAI 번역분석
GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터
WASTE는 C 언어로 작성된 임베디드 추론 엔진으로, NVMe에서 가중치를 직접 스트리밍하여 RAM 용량을 초과하는 대규모 모델을 실행할 수 있게 합니다. 모델 트렁크는 메모리에 유지하고 필요한 전문가(experts)만 디스크에서 불러와 효율적인 추론을 지원합니다.
8월 3일0
r/LocalLLaMAAI 번역분석
Qwen 3.8 출시
2.4조 파라미터 규모의 MoE 구조를 가진 Qwen 3.8 플래그십 모델이 출시되었습니다. 이 모델은 자율적인 코딩 능력을 갖추어 10일 이상의 장기 프로젝트를 수행할 수 있는 성능을 보여줍니다.
8월 3일1
r/LocalLLaMAAI 번역분석
DeepSeek V4 Flash를 위해 KV Cache를 양자화해서는 안 되는 이유
DeepSeek V4 Flash 모델 사용 시 KV Cache를 Q8로 양자화할 경우 발생하는 품질 저하를 분석했습니다. PPL, KLD, 토큰 확률 변화를 통해 Qwen 397B 모델과 비교했을 때 DS4F의 양자화 민감도가 매우 높음을 입증했습니다.
8월 2일0
r/LocalLLaMAAI 번역분석
공지: llama.app, Mac용 앱 및 llama.cpp를 통한 llama serve
llama.cpp 팀에서 개발한 공식 Mac용 앱 llama.app과 llama serve를 소개합니다. Ollama와 유사한 사용자 경험을 제공하며, Mac 환경에서 로컬 LLM을 더욱 쉽고 간편하게 설치하고 사용할 수 있도록 지원합니다.
8월 2일1
r/LocalLLaMAAI 번역분석
중국 편향성을 평가한 29개의 오픈 소스 LLM
중국 LLM의 정치적 편향성을 정량적으로 평가하기 위한 CCPBench를 소개합니다. 29개의 오픈 소스 모델을 대상으로 정치, 지리, 과학 분야의 질문을 던져 Gemini 1.5 Flash를 통해 편향성을 측정했습니다.
8월 2일3
r/LocalLLaMAAI 번역분석
LM Studio 패치 후 M1 Ultra 128GB에서 DeepSeek V4 IQ3XXS 구동 - 16 tok/s 기록
LM Studio 패치 이후 M1 Ultra 128GB 환경에서 DeepSeek V4 IQ3XXS 모델을 구동하여 초당 16토큰의 속도를 기록했습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
EdgeRazor: 혼합 정밀도 양자화 인식 증류 (Mixed-Precision Quantization-Aware Distillation)를
EdgeRazor는 엔트로피 가이드 증류를 활용하여 저비트 및 혼합 정밀도 환경에서 모델 성능을 극대화하는 새로운 양자화 기술입니다. 기존 QAT보다 효율적이면서도 매우 낮은 비트(최저 1.88비트)에서도 교사 모델의 역량을 효과적으로 보존합니다.
8월 2일2
r/LocalLLaMAAI 번역분석
한 번에 작동하는 로컬 웨이크 워드(Wake Word) 구축을 위한 5가지 팁
로컬 환경에서 안정적인 웨이크 워드(Wake Word) 시스템을 구축하기 위한 5가지 실무 팁을 제공합니다. 볼륨 튜닝의 함정, 로컬 추론 엔진의 스레드 안전성 문제, 하드웨어 사양 고려 및 오작동 방지 전략을 다룹니다.
8월 2일0
r/LocalLLaMAAI 번역분석
llama.cpp가 재시작 후에도 기억하도록 만들었습니다: 54.4초의 prefill이 새 프로세스에서 3.5초로 단축 (무료 ARM 서버)
llama.cpp의 KV 캐시를 디스크에 저장하여 프로세스 재시작 후에도 프리필(prefill) 속도를 획기적으로 단축하는 최적화 방법을 소개합니다. ARM 서버 환경에서 실험을 통해 TTFT를 개선하고, 추측 디코딩과의 충돌 문제 및 프롬프트 구조화의 중요성을 분석했습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
모든 Qwen 모델의 원샷(oneshots): 살펴보고 비교할 1109개의 출력값!
OpenRouter에서 제공하는 다양한 Qwen 모델 시리즈에 대해 35개의 프롬프트를 활용한 원샷(oneshots) 비교 테스트를 수행했습니다. 총 1,109개의 출력값을 생성하여 Qwen 2.5부터 최신 Qwen 3 시리즈까지의 성능을 검토한 결과물을 공유합니다.
8월 2일1
r/LocalLLaMAAI 번역분석
DeepSeek-V4-Flash-0731: 낮음(Low)이 높음(High)보다 더 높을 때
DeepSeek-V4-Flash-0731 모델의 네 가지 추론 노력 모드(None, Low, High, Max)에 따른 토큰 사용량과 성능을 비교 분석했습니다. 실험 결과 'Low' 모드가 예상과 달리 매우 장황한 출력을 생성하는 특이 현상이 발견되었습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
Deepseek v4 flash - prefill/pp에서 100-150 t/s 더 빠른 속도
Deepseek v4 flash 모델의 prefill 및 pipeline parallel 속도를 개선하기 위한 CUDA 버전 최적화 방법을 다룹니다. CUDA 13.2 이상의 버전에서 발생하는 DeviceTopK 이슈로 인한 성능 저하를 해결하기 위해 CUDA 13.1로의 다운그레이드를 권장합니다.
8월 2일0