Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
llama.cpp를 이용한 GStreamer 내 로컬 LLM 텍스트 번역 및 변환
llama.cpp를 활용하여 GStreamer 내에서 로컬 LLM을 통해 텍스트를 번역 및 변환할 수 있는 플러그인을 소개합니다. Whisper 플러그인과 결합하면 자동 자막 생성 및 번역이 가능하며, 미디어 플레이어나 화상 회의 소프트웨어에 통합하기 용이합니다.
7월 20일1
r/LocalLLaMAAI 번역분석
홈랩 감자 PC에서 실행한 Qwen3.6-35B-A3B-UD-Q6_K_XL이 Jacobian 추측이 거짓임을 입증하다
저사양 홈랩 환경에서 Qwen3.6-35B 모델을 활용한 로컬 에이전트가 수학적 난제인 Jacobian 추측에 대한 반증 가능성을 탐색한 사례입니다. 에이전트는 14개의 파이썬 코드를 자율적으로 작성 및 실행하며 복잡한 수학적 계산을 수행했습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
Bonsai-Ternary-27B를 10GB 미만의 VRAM으로 120k 컨텍스트에서 실행하는 방법
KVarN 논문의 기술을 Bonsai 런타임에 포팅하여 27B 모델을 10GB 미만의 VRAM으로 120K 컨텍스트에서 실행하는 방법을 소개합니다. KV 캐시 양자화를 통해 속도는 68% 향상시키고 VRAM 사용량은 획기적으로 줄였습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
Prism Bonsai 27B 실행 방법
Prism Bonsai 27B 모델을 실행하기 위한 llama.cpp 컴파일 및 설정 방법을 설명합니다. Mac의 Metal 환경과 CUDA 환경에 맞춘 빌드 명령어와 huggingface-cli를 활용한 모델 다운로드 과정을 다룹니다.
7월 20일1
r/LocalLLaMAAI 번역분석
RTX 5090 단일 GPU에서 65K 토큰 디코딩 시 Qwen3.6-35B-A3B가 543 tok/s 달성
RTX 5090 단일 GPU 환경에서 Qwen3.6 모델의 추론 속도를 극대화하기 위해 설계된 커스텀 C++/CUDA 엔진 NInfer를 공개했습니다. 커스텀 양자화와 커널 최적화 등을 통해 65K 토큰 디코딩 시 543 tok/s라는 압도적인 성능을 달성했습니다.
7월 20일2
r/LocalLLaMAAI 번역분석
Unsloth, 이제 AMD 지원!
Unsloth가 AMD 하드웨어를 공식 지원하며 로컬 추론, 미세 조정, 강화학습 및 배포가 가능해졌습니다. Radeon, Instinct GPU 및 AMD CPU를 지원하며 VRAM 사용량을 획기적으로 절감할 수 있습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
Trellis.cpp에 Studio 기능이 추가되었습니다!
Trellis.cpp에 사용 편의성을 높인 Studio 기능이 추가되었습니다. 이제 사용자는 복잡한 커맨드 라인 조작 없이도 백엔드 자동 선택, 가중치 자동 다운로드, Three.js 기반의 3D 에셋 프리뷰 기능을 활용할 수 있습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
Grok 4.5를 활용한 Parakeet CPU ASR의 자동 연구 최적화 수행 결과: STT 속도 최대 2.1배 향상
Grok 4.5 기반의 자율 AI 에이전트 Neo를 활용하여 Parakeet CPU ASR 모델의 성능을 최적화한 사례입니다. 자동화된 연구 루프를 통해 인코더의 정적 QDQ MinMax 방식을 찾아냈으며, 결과적으로 STT 처리량을 약 2.1배 향상시켰습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
Rate limit(속도 제한)에 걸리기 전 에이전트를 일시 중단하고, semi-warm start(준-웜 스타트)로 재개하는 스케줄러를
API 속도 제한(Rate Limit) 문제를 해결하기 위해 에이전트를 일시 중단하고 체크포인트를 통해 재개하는 'agentpause' 라이브러리를 소개합니다. KV-cache를 활용한 웜 스타트 방식과 컨텍스트 관리 전략을 통해 재시작 시 발생하는 비용과 시간을 획기적으로 단축할 수 있습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
사후 학습 델타 압축(Post-training delta compression), 10개의 파인튜닝을 약 4개 분량의 크기로 저장
동일한 베이스 모델을 기반으로 한 여러 파인튜닝 체크포인트의 용량을 획기적으로 줄여주는 'deltatensors' 라이브러리를 소개합니다. 베이스 모델과의 가중치 차이(diff)를 계산하고 양자화하여, 모델 품질을 유지하면서도 저장 공간을 약 1/4 수준으로 압축합니다.
7월 20일1
r/LocalLLaMAAI 번역분석
사용을 통해 성장하는 메모리를 갖춘 LLM 에이전트용 오디오 인지 레이어
지속적인 오디오 입력과 이벤트 기반 인식을 통해 LLM 에이전트의 청각 능력을 확장하는 오픈 소스 프레임워크를 소개합니다. CLAP, Whisper, sqlite-vec 등을 활용하여 로컬에서 실행되며, 사용을 통해 새로운 개념을 학습하고 메모리를 확장하는 구조를 가집니다.
7월 20일1
r/LocalLLaMAAI 번역분석
K3 출시를 기다리며 동일한 에이전트 기반 버그 수정 프롬프트를 4개의 Kimi 모델에 실행해 보았습니다. 모델이 최신일수록 가짜 테스트
Kimi K2 라인업의 4개 모델을 대상으로 에이전트 기반 버그 수정 능력을 비교 실험했습니다. 모델이 최신일수록 테스트 결과 시뮬레이션의 정확도가 높아지며, 특히 K2.7 Code 모델이 환각 없이 가장 안정적인 성능을 보였습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
64GB RAM의 한계 돌파 - UD-Q2_K_XL을 통한 Qwen3.5 122B A10B 구동: Qwen3 Next 80B
64GB RAM 환경에서 UD-Q2_K_XL 양자화 기술을 사용하여 Qwen3.5 122B A10B 모델을 구동하는 실험 결과입니다. 속도 저하와 프롬프트 처리 지연이라는 단점이 있지만, 기존 80B 모델보다 훨씬 높은 지식 품질을 얻을 수 있음을 확인했습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
llama.cpp를 위한 제어판을 만들었습니다 (이제 vLLM도 구동 가능), 순수 표준 라이브러리 백엔드, 오프라인 실행, 사용자가 소유합니다
llama.cpp와 vLLM을 로컬 환경에서 쉽게 관리할 수 있는 웹 기반 제어판인 LlamaForge를 소개합니다. 복잡한 터미널 명령어나 플래그 설정 없이 브라우저를 통해 모델 빌드, 다운로드, 서버 설정을 직관적으로 제어할 수 있습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
AI Doomsday Toolbox v0.948 - 이제 분산 이미지 생성을 지원합니다
안드로이드용 로컬 AI 실행 프로젝트인 AI Doomsday Toolbox v0.948이 업데이트되었습니다. 이번 버전은 여러 안드로이드 기기를 활용한 분산 이미지 및 비디오 생성 기능을 핵심으로 하며, 로컬 AI 클러스터 구축을 지원합니다.
7월 20일1
r/LocalLLaMAAI 번역분석
3060 12GB + 32GB DDR5 환경에서 Qwen3.6-35B-A3B (MoE)를 30 t/s로 실행하기: LM Studio 설정 공유
저사양 GPU 환경에서 Qwen3.6-35B-A3B MoE 모델을 30 t/s의 속도로 실행하기 위한 LM Studio 최적화 설정을 공유합니다. KV 캐시는 GPU에 유지하고 MoE 가중치는 CPU RAM으로 오프로드하여 VRAM 부족 문제를 해결하는 것이 핵심입니다.
7월 20일1
r/LocalLLaMAAI 번역분석
Qwowl35 - M2 Mac에서 Qwen 3.5 9B를 로컬로 실행하기 위해 커스텀 Python 에이전트 및 추론 엔진을 구축했습니다. 제가
M2 Mac 환경에서 Qwen 3.5 9B 모델을 로컬로 실행하기 위한 커스텀 추론 엔진 및 Python 에이전트 구축 사례를 소개합니다. BPE 토큰 최적화, 미세 조정 시 구문 충돌 방지, 피드백 기반 도구 출력 등 에이전트 성능 향상을 위한 핵심 기술적 통찰을 다룹니다.
7월 20일0
r/LocalLLaMAAI 번역분석
1x 4060 Ti + CPU 환경에서 DeepSeek V4 Flash (98GB) 속도가 이번 주 300% 향상됨 [2 -> 7t/s]
RTX 4060 Ti와 CPU를 활용한 환경에서 DeepSeek-V4-Flash 모델의 추론 속도가 llama.cpp 업데이트를 통해 2t/s에서 7t/s로 약 300% 향상되었습니다. 이는 CPU 생성 방식을 통한 대규모 모델 구동의 실용성이 높아지고 있음을 보여줍니다.
7월 20일0
r/LocalLLaMAAI 번역분석
2x RTX 3080 20GB, 64GB DDR5 환경에서 Q2 DeepSeek V4 Flash 구동 | 생성 17 tk/s
2x RTX 3080 20GB와 64GB DDR5 환경에서 DeepSeek V4 Flash 모델을 Q2 양자화 방식으로 구동한 사례를 공유합니다. llama.cpp 포크 버전을 활용해 KV 캐시를 Q8로 양자화하여 128k 컨텍스트에서 안정적인 성능을 확보했습니다.
7월 20일1
r/LocalLLaMAAI 번역분석
Qwen 3.6 27B에서 llama.cpp의 모든 추측 디코딩 (Speculative Decoding) 방법 테스트: MTP ~2.7x
llama.cpp 환경에서 Qwen 3.6 27B 모델을 대상으로 다양한 추측 디코딩(Speculative Decoding) 기법을 테스트한 결과입니다. n-gram 룩업 드래프터를 DFlash와 결합했을 때, 반복적인 코딩 작업에서 성능이 최대 6배까지 향상됨을 확인했습니다.
7월 20일1