Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMA 299건필터 해제
전기 낭비 그만하기
본 글은 RTX 4090과 llama.cpp를 사용하여 LLM을 구동하는 환경에서 전력 효율성을 개선하는 방법을 다룹니다. 사용자는 `nvidia-smi -pl N` 명령어를 통해 GPU의 전력을 제한하여, 성능 저하 없이 실제 소비 전력을 약 40%까지 줄일 수 있음을 관찰했습니다.
DGX 냉각 방법 발견
본 기사는 DGX 시스템에서 Qwen3.5-122b-a10B 모델을 구동할 때 탭 물(수돗물)을 냉각재로 사용한 실험 결과를 보고합니다. 이 조건 하에서 GPU는 95% 활용률을 유지하며 온도는 섭씨 68도 이하를 안정적으로 유지했습니다. 메모리 사용량은 110GB, 컨텍스트 창은 80k이며, 초당 18.77 토큰의 연속적인 비전 분석 성능을 달성했습니다.
고도 10km 상공에서 인사드립니다! - Qwen 3.6 35b 덕분에!
작성자는 비행기 와이파이에 연결하는 과정에서 노트북의 네트워크 설정 문제(캡티브 포털 로드 실패)를 겪었다. 이 문제는 systemd-resolved가 잘못된 DNS 설정을 사용하고 있었기 때문이었다. 다행히 Qwen 모델 기반 에이전트의 도움으로 신속하게 문제를 해결할 수 있었다.
ExLlamaV3 주요 업데이트!
ExLlamaV3 프로젝트가 다양한 최신 LLM 모델들을 작고 빠른 환경에 효율적으로 배포하기 위해 지속적인 업데이트를 진행하고 있습니다. 최근에는 Gemma 4 지원, 캐싱 효율성 개선, 그리고 DFlash 지원을 통해 성능 향상을 이루었으며, 이를 통해 코드 생성 및 에이전트 작업 등에서 큰 폭의 속도 증가(최대 2.51배)를 보여주었습니다. 또한 다양한 모델에 대한 최적화와 양자화 업데이트가 꾸준히 이어지며 사용자 경험과 효율성을 높이고 있습니다.
8GB VRAM 및 32GB RAM에서 Qwen3.6 35B A3B 실행 (~190k 컨텍스트)
본 기사는 제한된 VRAM(8GB)과 RAM(32GB) 환경에서 Qwen3.6 35B와 같은 대규모 언어 모델을 높은 컨텍스트 길이(~190k)로 구동하는 최적화 방법을 공유합니다. 작성자는 Linux 환경, llama.cpp의 TurboQuant 포크 버전 사용, 그리고 특정 파라미터 조정(예: `--n-gpu-layers`, `--ctx-size`)을 통해 안정성과 속도를 극대화한 경험을 제시했습니다. 특히 Q5 양자화와 DDR5 RAM 같은 하드웨어 요소가 장문 컨텍스트 추론 성능에 결정적인 영향을 미친다고 강조합니다.
BeeLlama.cpp: 고급 DFlash 및 TurboQuant를 통한 추론, 비전 지원
BeeLlama.cpp는 기존 llama.cpp의 기능을 확장하여, DFlash 투기적 디코딩(speculative decoding), TurboQuant/TCQ KV-캐시 압축, 적응형 초안 제어 등 고급 최적화 기술을 통합한 성능 중심의 포크입니다. 이 도구는 단일 RTX 3090과 같은 소비자급 GPU 환경에서도 Qwen 3.6 27B와 같은 대규모 모델을 높은 컨텍스트 길이(200k) 및 비전 기능 지원과 함께 구동할 수 있게 합니다. 특히, KV 캐시 압축과 동적 초안 제어 메커니즘은 메모리 효율성과 추론 속도를 극대화하여 로컬 LLM 배포의 한계를 크게 확장합니다.
Qwen 3.6 35B A3B의 기대감이 현실이네요!!!
작성자는 전문적인 학술 연구 코드와 논문을 LLM에 입력하여 이해도를 테스트했으며, 최근 출시된 여러 오픈 웨이트 모델들이 과거의 작은 로컬 모델들보다 훨씬 뛰어난 성능을 보여 놀라움을 표했습니다. 특히 Qwen 3.6 35B A3B를 포함한 최신 모델들은 긴 컨텍스트 처리 능력을 갖추어 복잡한 코드와 문헌 간의 매핑 분석이 가능해졌습니다. 작성자는 이들 로컬 모델들이 단일 거대 상용 모델보다 더 유능할 수 있다는 자신감을 드러내며, 관련 실험 결과를 공유했습니다.
Pi와 Qwen3.6 27B 덕분에 Archlinux 설정이 정말 쉬워졌어요.
최근의 기술 발전(Pi와 Qwen3.6 27B 등) 덕분에 Arch Linux 같은 복잡한 운영체제 설정 과정이 매우 간편해졌다는 개인적인 경험을 공유합니다. 특히 블루투스 연결이나 디스플레이 스케일링 변경과 같은 까다로운 작업들이 음성 명령만으로 쉽게 처리되는 것을 목격했습니다. 이러한 편리함 속에서, 사용 권한(root/sudo) 부여의 필요성과 그 배경에 대한 근본적인 의문점들을 느끼게 되었습니다.
Qwen3.6 35B A3B와 llama.cpp MTP를 사용한 12GB VRAM에서의 80 tok/sec 및 128K 컨텍스트 성능
이 기술 기사는 제한된 VRAM 환경(12GB)에서도 높은 성능을 유지하는 방법을 공유합니다. 최신 llama.cpp 빌드와 MTP PR을 활용하여, Qwen3.6 35B A3B 모델과 결합했을 때 80 tok/sec 이상의 빠른 토큰 생성 속도와 128K 컨텍스트 처리 능력을 달성했음을 보여줍니다.
MTP와 TurboQuant를 사용하여 Qwen3.6-27B에서 262K 컨텍스트에 단일 RTX 4090으로 80+ t/s 달성
본 기사는 MTP와 TurboQuant를 결합하여 Qwen3.6-27B 모델을 262K 컨텍스트 길이에서 단일 RTX 4090 GPU로 구동하는 최적화 과정을 다루고 있습니다. 이 최적화를 통해 초기 43 t/s였던 처리 속도를 80~87 t/s까지 크게 향상시켰으며, MTP의 초안 수용률(draft acceptance)도 약 73%에 달함을 보고했습니다.
Reports suggest DeepSeek is seeking $7.35 billion in funding and plans to
딥시크(DeepSeek)는 약 73.5억 달러(RMB 500억 위) 규모의 대규모 자금 조달을 목표로 하고 있으며, 이는 중국 AI 기업 역사상 가장 큰 단일 투자 라운드가 될 잠재력을 가지고 있습니다. 이 자금은 회사의 상업화 및 수익 창출 전략 가속화에 사용될 예정입니다. 또한, 딥시크는 주력 대형 언어 모델(LLM)의 업데이트 주기와 출시 속도를 메인스트림 산업 관행에 맞추기 위해 V4.1과 같은 버전 업그레이드를 가속화할 계획입니다.
new MoE from ai2, EMO
AI2에서 새롭게 공개한 MoE(Mixture of Experts) 모델인 EMO는 1B 활성 파라미터와 14B 총 파라미터를 사용하여 1T 토큰으로 학습되었습니다. 이 모델의 가장 주목할 만한 특징은 '문서 수준 라우팅' 기능입니다. 이는 단순히 표면적인 패턴을 인식하는 것이 아니라, 전문가들이 건강이나 뉴스 같은 특정 도메인 주변에 의미적으로 군집화되어 있다는 점입니다.
vLLM ROCm has been added to Lemonade as an experimental backend
Lemonade 플랫폼에 vLLM ROCm 백엔드가 실험적으로 추가되었습니다. 이 업데이트를 통해 사용자는 GGUF로 변환되지 않은 원본 .safetensors 형식의 LLM을 vLLM 엔진으로 실행할 수 있게 되었습니다. 이는 기존 llama.cpp와 유사하게 간편한 방식으로 새로운 모델 엔진을 통합하는 것을 목표로 하며, 커뮤니티 피드백을 통해 지속적으로 확장될 예정입니다.
Unpopular Opinion: The DGX Spark Forum community of devs is talented AF and
이 글은 DGX Spark 하드웨어에 대한 초기 실망감에도 불구하고, NVIDIA 공식 포럼 커뮤니티가 보여주는 놀라운 긍정적인 측면을 강조합니다. 작성자는 이 커뮤니티 구성원들이 하나의 공동의 목표(DGX Spark의 성능 극대화)를 가지고 매우 협력적이고 친절하게 지식을 공유하며 프로젝트를 개발하고 있다고 설명합니다. 비록 하드웨어 자체에 대한 기술적 한계가 존재할지라도, 강력한 사용자 커뮤니티와 집단적인 의지가 이 시스템을 성공으로 이끌 것이라는 낙관적인 전망을 제시합니다.
You can now read Gemma 3's mind
Anthropic은 'Natural Language Autoencoders (NLA)'라는 새로운 연구를 발표하며, 대규모 언어 모델(LLM)이 다음 토큰을 생성할 때 내부적으로 어떤 생각을 했는지 보여주는 방법을 제시했습니다. 이 기술은 LLM의 내부 활성화 값을 사람이 읽기 쉬운 텍스트로 번역하는 'Auto Verbalizer (AV)'와 그 역변환을 검증하는 'Activation Reconstructor (AR)' 모델 가중치 형태로 제공됩니다. 사용자는 Neuronpedia 플랫폼을 통해 Gemma 3에 질문하고, 특정 토큰의 생성 과정에서 모델이 어떤 내부적인 추론 과정을 거쳤는지 확인할 수 있습니다.
guess what? if you are a chrome user, technically you are localllama member!
이 기사는 크롬 사용자에게 'localllama 멤버'라는 개념을 연결하며 흥미를 유발하는 제목을 가지고 있지만, 실제 본문은 봇 방지(CAPTCHA) 인증 절차만을 반복적으로 보여주고 있습니다. 따라서 기술적인 내용이나 정보 전달보다는 사용자의 주의를 끌거나 특정 커뮤니티에 소속감을 부여하려는 마케팅적 성격이 강합니다.
Multi-Token Prediction (MTP) for LLaMA.cpp - Gemma 4 speedup by 40%
LLaMA.cpp에 Multi-Token Prediction (MTP) 기능을 구현하여 대규모 언어 모델(LLM)의 추론 속도를 향상시켰습니다. 이 개선 사항을 Gemma 4 assistant 모델에 적용한 결과, MacBook Pro M5Max 환경에서 드래프트 토큰 처리 속도가 약 40% 빨라지는 성능 향상을 확인했습니다.
Uploaded Unsloth Qwen3.6-35B-A3B UD XL models with MTP grafted, here are the
본 기술 기사는 Unsloth가 Qwen3.6-35B-A3B UD XL 모델에 MTP(Memory-Targeted Parallelism) 레이어를 접목한 결과를 공유합니다. 테스트 결과, 특히 5090 FE와 같은 하드웨어 환경에서 MTP를 적용했을 때 상당한 추론 속도 향상(t/s 증가)이 관찰되었습니다. Q4 및 Q8 양쪽 모두에서 성능 개선이 확인되었으며, 이는 모델 아키텍처와 lamba.cpp의 MTP 구현 간의 상호작용에 기인할 수 있습니다.
Quality comparison between Qwen 3.6 27B quantizations (BF16, Q8_0, Q6_K
본 기사는 Qwen 3.6 27B 모델의 다양한 양자화(BF16, Q8_0, Q6_K 등) 버전을 사용하여 복잡한 체스판 SVG 이미지 생성 작업을 수행하고 그 품질을 비교 분석한 내용입니다. 테스트 결과, BF16과 Q8_0이 가장 높은 정확도를 보였으며, Q6_K부터는 성능 저하가 시작되는 경향을 보였습니다. 특히 IQ3_XXS와 같은 고압축 버전은 조각 배치 및 하이라이트 등 많은 부분을 성공적으로 수행했으나, 보드 방향과 같은 세부적인 오류를 보이기도 했습니다. 최종적으로 작성자는 16GB VRAM 환경에서 성능과 품질의 균형을 고려할 때 IQ4_XS 이하로는 사용하지 않을 것이라는 결론을 내리며, 특정 양자화 버전(IQ4_XS)을 추천하고 그 속도와 효율성을 제시했습니다.
[SCAM DO NOT USE!!] OpenOSS/privacy-filter
이 기술 기사는 OpenOSS/privacy-filter 모델을 사용하지 말 것을 강력히 경고합니다. 해당 모델은 악성코드(MALWARE)를 다운로드하는 사기(SCAM)이며, 특정 Base64 문자열을 디코딩하면 시스템에 파일을 다운로드하고 실행시키는 명령어가 포함되어 있습니다. 대신, 사용자는 공식적인 OpenAI/privacy-filter 모델을 사용해야 합니다.
이 피드 구독하기
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.