Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Laguna-S-2.1의 "무한 사고" 루프는 양자화 (Quantization) 아티팩트로 보입니다
Laguna-S-2.1 모델이 llama.cpp 환경에서 무한 사고 루프에 빠지는 현상은 양자화 아티팩트 때문일 가능성이 높습니다. 이를 해결하기 위해 균일한 저비트 양자화 대신 정밀도를 타겟팅한 APEX 양자화 방식을 권장합니다.
7월 23일0
r/LocalLLaMAAI 번역분석
Deepseek V4 Flash 모델을 두 개의 Nvidia 4090d 48G GPU에서 vLLM으로 구동한 성능 분석
Nvidia 4090d GPU 환경에서 DeepSeek-V4-Flash 모델을 vLLM으로 구동하기 위한 최적화 방법과 성능 분석을 다룹니다. Blackwell 전용 커널을 Triton으로 재구현하여 Ada 아키텍처에서도 성능을 극대화하는 기술적 접근법을 제시합니다.
7월 23일0
r/LocalLLaMAAI 번역분석
open-deepthink 0.1.11 — 멀티 에이전트 브레인스토밍에서의 정성적 자기 주의 집중(Qualitative
open-deepthink 0.1.11 버전은 LLM을 뉴런처럼 활용하는 오픈 소스 멀티 에이전트 시스템입니다. 이번 업데이트에서는 비인접 레이어의 정보를 참조하는 정성적 자기 주의 집중 기능과 아이디어를 앱 프롬프트로 변환하는 확산 모드가 추가되었습니다.
7월 23일0
r/LocalLLaMAAI 번역분석
고등학생 시절 5개월 동안 내 PC를 실제로 제어하는 로컬 AI를 만들었습니다: 파일, 앱, 브라우저, 음성 지원 및 9B 모델에서도
개인정보 보호를 위해 개발된 Hearth는 로컬 환경에서 PC의 파일, 앱, 브라우저를 직접 제어하는 오픈 소스 AI 에이전트입니다. 9B 규모의 소형 모델에서도 안정적인 동작을 위해 도구 로드 최적화와 자동 대화 압축 기술을 적용했습니다.
7월 23일0
r/LocalLLaMAAI 번역분석
Mac(MLX)에서 8B Teacher 모델을 0.6B Student 모델로 증류(Distillation)했습니다. 0.6B 모델은 해당
금융 문서 처리를 위해 Mac의 MLX 환경에서 8B 모델을 0.6B 모델로 지식 증류(Distillation)한 사례를 공유합니다. 소형 모델이 RAG 인덱싱 전 요약 및 태깅 작업을 효율적으로 수행할 수 있음을 입증했습니다.
7월 23일0
r/LocalLLaMAAI 번역분석
Dual Sparks 환경에서 DSV4 Flash DSpark는 최고의 성능을 보여줍니다
Dual DGX Spark 환경에서 DeepSeek V4 Flash DSpark를 활용한 최적의 성능 구현 사례를 소개합니다. Copilot보다 빠른 응답 속도와 Sonnet 4.6 수준의 높은 품질을 보여주며, 복잡한 작업 수행 능력이 탁월합니다.
7월 23일0
r/LocalLLaMAAI 번역분석
휴대폰을 비행기 모드로 설정하고 35B MoE에게 Snake 게임을 요청했습니다. 10분 만에 완성되었습니다.
모바일 기기에서 35B MoE 모델을 활용해 즉석에서 Snake 게임 코드를 생성하고 실행하는 기술을 소개합니다. BigMoeOnEdge 기술을 통해 대규모 MoE 모델을 RAM 제한 없이 모바일 CPU에서 효율적으로 구동할 수 있음을 보여줍니다.
7월 23일0
r/LocalLLaMAAI 번역분석
24/7 서브레딧 라디오
r/wallstreetbets 서브레딧을 기반으로 한 24/7 AI 라디오 스테이션 구축 사례를 소개합니다. Gemma 4, ACE-Step, Krea 등 다양한 로컬 호스팅 모델을 활용하여 음악, 가사, 뉴스 요약 및 이미지 생성을 자동화합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Laguna S 2.1의 사고 모드 (Thinking mode) 관련 이슈
Laguna S 2.1 모델에서 추론 단계(reasoning phase)가 작동하지 않는 이슈를 분석합니다. 채팅 템플릿 설정 및 preserve_thinking 옵션과 관련된 버그 가능성을 제시하며, Qwen 템플릿을 통한 해결 방안을 제안합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
archex: 코딩 에이전트를 위한 로컬 우선(local-first), 결정론적(deterministic) 코드 컨텍스트 — 26개 언어 지원
archex는 코딩 에이전트를 위한 로컬 우선 및 결정론적 코드 컨텍스트 생성 도구입니다. BM25F와 그래프 확장을 사용하여 저장소를 효율적인 컨텍스트 번들로 변환하며, 기존 방식 대비 높은 재현율과 낮은 토큰 비용을 제공합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
McFish: MPS에 최적화된 fish audio S2 (거의 실시간)
Fish Audio의 S2 모델을 Apple Silicon의 MPS 환경에서 최적화한 McFish 프로젝트를 소개합니다. 양자화와 KV 캐시 최적화를 통해 추론 속도를 획기적으로 개선했습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Bad Theory Labs의 BTL-3 27B 에이전트 코딩 및 도구 사용 (Tool-use) 모델 (8.39GB 용량)
Bad Theory Labs가 에이전트 코딩 및 도구 사용에 최적화된 27B 오픈 웨이트 모델 BTL-3를 공개했습니다. 독자적인 양자화 기술을 통해 8.39GB의 단일 파일로 압축하면서도 모델 지능의 92.2%를 유지하며, 로컬 환경에서 강력한 에이전트 성능을 제공합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
순수 C 언어로 구현한 바닥부터 만든 BitNet 추론 엔진 — Xeon에서 bitnet.cpp보다 1.8배 빠름 (36 tok/s), 의존성
순수 C99로 구현된 CPU 전용 LLM 추론 엔진인 Project Zero를 소개합니다. 외부 의존성 없이 단일 바이너리로 작동하며, bitnet.cpp 대비 Intel Xeon 환경에서 약 1.8배 빠른 성능을 보여줍니다.
7월 22일0
r/LocalLLaMAAI 번역분석
MindControl - 샘플링 중 주입을 통해 추론 과정을 가이드하는 llama.cpp 포크 (fork)
llama.cpp의 포크 프로젝트인 MindControl은 샘플링 과정에서 특정 문구를 주입하여 소규모 로컬 모델의 추론 과정을 가이드합니다. 모델이 사고 예산(thinking budget)을 인지하고 적절한 시점에 결론을 도출하도록 유도하여 추론의 신뢰성을 높입니다.
7월 22일0
r/LocalLLaMAAI 번역분석
GPU 프로파일링 및 텔레메트리를 활용한 자동 최적화 추론 (Auto-Optimizing Inference)
GPU 프로파일링과 텔레메트리 데이터를 활용하여 vLLM, SGLang 등의 추론 엔진 플래그를 자동으로 최적화하는 graphsignal-run 도구를 소개합니다. 트래픽 패턴에 따라 설정을 점진적으로 조정하여 최적의 성능을 도출합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Laguna-S-2.1이 나의 6년 된 게이밍 PC에서 돌아갑니다!
Laguna-S-2.1 모델을 RTX 3080 기반의 구형 게이밍 PC 환경에서 구동한 사례를 공유합니다. VRAM과 RAM 사용량이 매우 높지만, 특정 설정(IQ4_XS, 128k 컨텍스트)을 통해 실사용 가능한 수준의 성능을 확인했습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
결국 내 에이전트들을 위해 대출까지 받을 필요는 없을 것 같습니다
에이전트가 작업에 필요한 도구와 기술만 선별적으로 확인하도록 최적화하여 응답당 토큰 사용량을 76% 절감했습니다. 불필요한 정보를 숨김으로써 효율적인 에이전트 운영이 가능해졌습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
모든 로컬 AI를 위한 사이트를 구축했습니다
로컬 AI 추론 벤치마크와 모델 성능 데이터를 통합 관리하는 플랫폼 'localmaxxing'이 출시되었습니다. 다양한 하드웨어와 모델 버전에 대한 실행 기록을 제공하며, 향후 맞춤형 평가 시스템과 하드웨어 마켓플레이스 기능을 확장할 계획입니다.
7월 22일0
r/LocalLLaMAAI 번역분석
MoE의 VRAM 디스크 캐시를 통해 단일 DGX Spark에서 Kimi 2.7 모델로 340 pp/s, 9.6 tg/s 달성
llama.cpp를 활용하여 MoE 모델의 전문가(experts)를 디스크 대신 VRAM 캐시로 관리하는 최적화 전략을 소개합니다. 이를 통해 DGX Spark 환경에서 Kimi 2.7 모델로 높은 추론 성능을 달성하는 벤치마크 결과를 제시합니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Laguna-S-2.1에서 <thinking> 강제하기
Laguna-S-2.1 모델이 중간 난이도 질문에서 사고 과정을 생략하는 문제를 해결하기 위해 채팅 템플릿을 수정하는 방법을 제안합니다. <think> 태그 뒤에 줄바꿈을 추가함으로써 모델이 추론 과정을 강제하도록 유도할 수 있습니다.
7월 22일0