Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Jetson Orin Nano Super에서의 Bonsai LM (1-bit 및 1.58-bit LLM) 벤치마킹
Jetson Orin Nano Super에서 1-bit 및 1.58-bit Bonsai LM 모델의 성능을 벤치마킹한 결과입니다. 다양한 전력 모드에서 토큰 생성 속도, 에너지 효율성(tok/J), 지연 시간 및 발열 상태를 심층 분석했습니다.
6월 14일0
r/LocalLLaMAAI 번역분석
개인 LLM 백업을 위한 최신 아카이브 광학 저장 매체: 128GB BD-R XL M-DISC
LLM 백업을 위해 장기 보존이 가능한 광학 저장 매체(Blu-Ray) 사용을 권장합니다. 특히 수명이 긴 아카이브 등급의 BD-R XL M-DISC 포맷이 적합하며, 휘발성 메모리보다 안정적입니다. 관련 라이터와 빈 디스크 구매 정보를 제공하고 있습니다.
6월 14일0
r/LocalLLaMAAI 번역분석
로컬 LLM이 더 이상 민주적이지 않다... 하드웨어 장벽이 너무 심해졌다.
과거 로컬 LLM 실험 초창기에는 일반적인 게이밍 GPU로도 충분히 접근성이 높았으나, 현재는 하이엔드 하드웨어 장벽이 높아져 개인의 실험 및 활용이 어려워지고 있다는 문제 제기입니다.
6월 12일0
r/LocalLLaMAAI 번역분석
xdna-top: Strix Halo (Ryzen AI Max)용 통합 NPU+iGPU 터미널 모니터 — 드디어 NPU 작동 확인
Strix Halo (Ryzen AI Max) 장치에서 NPU 활동을 모니터링하는 터미널 도구 xdna-top이 소개되었습니다. 이 도구는 iGPU 사용량과 컨텍스트별 NPU 제출/완료 카운터를 하나의 TUI에서 보여주어, NPU의 실제 작동 여부를 확인할 수 있게 합니다.
6월 11일0
r/LocalLLaMAAI 번역분석
Blackwell에서 INT8 Q/DQ가 TRT 10 + auto-FP16보다 1.8배 우수함 — 실용적인 보정(calibration) 작성기
최신 TensorRT 11 빌드는 명시적인 INT8 양자화(Q/DQ)를 강제하여, 기존 auto-FP16 방식보다 성능이 우수함을 입증했습니다. RTX 5090에서 수행된 테스트 결과, 동일 하드웨어에서 이전 대비 약 1.8배 향상된 추론 속도(71k NPS vs 39.5k NPS)를 기록하며, 최신 GPU 아키텍처의 전용 INT8 경로 활용 가능성을 보여주었습니다.
6월 10일0
r/LocalLLaMAAI 번역분석
Intel의 Crescent Island PCB 유출: 대규모 Xe3P GPU, 16핀 커넥터, 160GB LPDDR5X 탑재로 HBM 부족
Intel의 차세대 데이터 센터 GPU인 Xe3P를 탑재한 'Crescent Island' PCB 설계가 유출되었습니다. 이 설계는 HBM 부족 문제를 해결하기 위해 160GB의 대규모 LPDDR5X 메모리 구성을 채택한 것이 특징입니다.
5월 20일2
r/LocalLLaMAAI 번역분석
Qwen3.6에서 llama.cpp MTP 지원 테스트 - RTX 5090
본 테스트는 RTX 5090 환경에서 llama.cpp를 사용하여 Qwen3.6 모델의 MTP(Multi-Turn Prompting) 기능을 검증한 내용입니다. 특히, 동일한 GGUF 파일을 사용하면서 `--spec-type draft-mtp` 플래그만 변경하여 MTP 기능 자체에 대한 영향을 분석했습니다. 테스트는 짧은 스토리와 긴 코드 생성 등 다양한 길이의 프롬프트를 사용하여 모델의 일관성과 성능을 측정했습니다.
5월 17일2
r/LocalLLaMAAI 번역분석
Strix Halo Llama.cpp MTP 벤치마크: 27B는 훨씬 빨라졌고, 35B는 결과가 엇갈림
본 기사는 Strix Halo 하드웨어 환경에서 Llama.cpp를 사용하여 Qwen3.6 모델의 벤치마크 결과를 비교 분석합니다. 특히, MTP(Multi-Turn Prompting) 최적화가 적용된 버전과 기본 버전을 다양한 시나리오(15k 단일 턴 vs 5턴 연속 대화)에서 테스트했습니다. 그 결과, 27B 모델의 경우 MTP 적용이 전반적으로 속도 향상에 크게 기여했으나, 35B 모델에서는 성능 개선 폭이 미미하거나 오히려 느려지는 경향을 보였습니다.
5월 17일1
r/LocalLLaMAAI 번역분석
코딩 프리미티브(coding primitive)에서의 Local Qwen 3.6 vs frontier models 비교: 단일 파일 HTML
본 글은 코딩 프리미티브 작업에 초점을 맞춰 Qwen 3.6 변체와 같은 로컬 양자화(local quants) 모델들이 최신 플래그십(frontier) 웹 기반 모델들과 비교했을 때 어느 정도의 성능을 보이는지 비교 분석한 내용입니다. 특히 라이브러리 없이 단일 HTML 파일로 사실적인 측면 주행 애니메이션을 구현하는 복잡한 코딩 작업에서, 로컬 27B 양자화 모델이 일부 플래그십 모델보다 더 자연스러운 움직임과 레이어링을 보여주며 기대 이상의 성능을 입증했습니다.
5월 16일2
r/LocalLLaMAAI 번역분석
Qwen3.6-35B-A3B 및 9B가 공식적으로 public Terminal-Bench 2.0 리더보드에 진입했습니다!
Qwen3.6-35B-A3B와 9B 모델이 공식 Terminal-Bench 2.0 리더보드에 진입하며 주목받고 있습니다. 특히 little-coder × Qwen3.6-35B-A3B 조합은 Gemini CLI 및 Terminus 2 등 경쟁 모델보다 높은 순위를 기록했습니다. 이 성과는 로컬 모델들이 어려운 에이전틱 벤치마크에서도 측정 가능한 수준임을 입증하며, 오픈 소스 커뮤니티의 기여를 강조합니다.
5월 16일1
r/LocalLLaMAAI 번역분석
Jetson Orin NX SUPER 16GB를 기반으로 구축한 완전 오프라인 캐리어 로봇. Gemma 4 E4B, ~200ms 캐시된
Jetson Orin NX SUPER 16GB 기반의 로봇 'Sparky'는 완전히 오프라인 환경에서 구동됩니다. 이 로봇은 llama.cpp와 Q4_K_M 방식의 Gemma 4 E4B 모델을 사용하여, 캐시된 TTFT 약 200ms 및 지속 속도 14-15 tok/s를 달성했습니다. STT(SenseVoiceSmall)와 TTS(Piper), 그리고 PixiJS 얼굴 구현 등 다양한 온디바이스 컴포넌트를 통합했으며, 특히 프롬프트 구조 최적화를 통해 캐시 안정성을 높여 성능을 크게 개선한 것이 핵심 성과입니다.
5월 15일2
r/LocalLLaMAAI 번역분석
Nvidia에서 NVFP4 Kimi2.6 및 Kimi 2.5를 출시했습니다
NVIDIA가 Moonshot AI의 Kimi-K2.6 및 Kimi 2.5 모델을 NVFP4 포맷으로 양자화하여 출시했습니다. 이 모델들은 최적화된 Transformer 아키텍처를 사용하는 자기회귀 언어 모델이며, Model Optimizer를 통해 양자화되었습니다. 제공된 벤치마크 결과에 따르면, NVFP4 버전은 Baseline (INT4) 대비 전반적으로 높은 성능을 보여주며 상업적/비상업적 용도로 사용 가능합니다.
5월 14일4
r/LocalLLaMAAI 번역분석
Intel Optane Persistent Memory를 사용한 컴퓨터 빌드 - 1조 개의 파라미터를 가진 모델을 초당 4개 이상의 토큰으로
본 글은 Intel Optane Persistent Memory(PMem)를 활용하여 1조 개의 파라미터를 가진 대규모 언어 모델(Kimi K2.5)을 로컬 환경에서 초당 약 4 토큰 속도로 구동한 빌드 경험을 공유합니다. PMem의 거대한 용량(768GB)과 메모리 모드를 활용하여, GPU에 담기 어려운 초대형 모델의 희소 전문가 가중치(sparse experts weights)를 시스템 RAM처럼 처리할 수 있었습니다. 이 빌드는 제한된 예산으로 프런티어급 모델을 구동하는 성공적인 사례이며, 향후 로컬 추론 혁신 방향에 대한 통찰을 제공합니다.
5월 13일2
r/LocalLLaMAAI 번역분석
AIDC-AI/Ovis2.6-80B-A3B · Hugging Face
Ovis2.6-80B-A3B는 Multimodal Large Language Model (MLLM)의 최신 버전으로, Mixture-of-Experts (MoE) 아키텍처를 도입하여 낮은 서빙 비용으로 높은 성능을 구현했습니다. 이 모델은 64K 토큰 컨텍스트 창과 최대 2880×2880 해상도 지원을 통해 긴 문서 및 고해상도 이미지 처리에 탁월하며, 'Think with Image' 기능을 통해 능동적인 시각적 추론 능력을 갖추었습니다.
5월 13일4
r/LocalLLaMAAI 번역분석
--n-cpu-moe로 부분 오프로드된 모델의 프롬프트 처리 속도를 획기적으로 개선하기
llama.cpp를 사용하여 RTX 3090 환경에서 gpt-oss-120b 모델을 구동할 때, --n-cpu-moe 설정을 높여 MoE 레이어를 CPU로 오프로드하면 더 큰 ubatch 크기를 사용할 수 있습니다. 이를 통해 프롬프트 처리(prefill) 속도를 최대 8.7배까지 획기적으로 향상시킬 수 있으나, 토큰 생성 속도는 약간 감소하는 트레이드오프가 발생합니다.
5월 13일4
r/LocalLLaMAAI 번역분석
Unsloth에서 MTP 사용하기
Unsloth에서 MTP(Model Type Preservation) 레이어를 보존한 모델이 출시되었으며, 관련 Hugging Face 링크를 통해 접근할 수 있습니다. 하지만 현재로서는 MTP 기능의 완전한 활용을 위해 llamacpp PR을 확인하고 직접 빌드하는 과정이 필요합니다. Unsloth는 모델 카드에 MTP 사용 방법을 안내하고 있으므로 이를 참고해야 합니다.
5월 13일6
r/LocalLLaMAAI 번역분석
실제 트랜스포머 언어 모델을 스톡 게임보이 컬러에서 구동하는 모습!
본 기사는 외부 연결 없이 오직 스톡 게임보이 컬러(Game Boy Color) 하드웨어만으로 트랜스포머 언어 모델을 구동하는 과정을 다룹니다. Andrej Karpathy의 TinyStories-260K를 INT8 가중치와 고정 소수점 연산으로 변환하여 부동 소수점 없이 실행 가능하게 만들었으며, 이 모델은 게임보이 ROM과 카트리지에 저장됩니다.
5월 13일4
r/LocalLLaMAAI 번역분석
전기 낭비 그만하기
본 글은 RTX 4090과 llama.cpp를 사용하여 LLM을 구동하는 환경에서 전력 효율성을 개선하는 방법을 다룹니다. 사용자는 `nvidia-smi -pl N` 명령어를 통해 GPU의 전력을 제한하여, 성능 저하 없이 실제 소비 전력을 약 40%까지 줄일 수 있음을 관찰했습니다.
5월 13일10
r/LocalLLaMAAI 번역분석
DGX 냉각 방법 발견
본 기사는 DGX 시스템에서 Qwen3.5-122b-a10B 모델을 구동할 때 탭 물(수돗물)을 냉각재로 사용한 실험 결과를 보고합니다. 이 조건 하에서 GPU는 95% 활용률을 유지하며 온도는 섭씨 68도 이하를 안정적으로 유지했습니다. 메모리 사용량은 110GB, 컨텍스트 창은 80k이며, 초당 18.77 토큰의 연속적인 비전 분석 성능을 달성했습니다.
5월 12일7
r/LocalLLaMAAI 번역분석
고도 10km 상공에서 인사드립니다! - Qwen 3.6 35b 덕분에!
작성자는 비행기 와이파이에 연결하는 과정에서 노트북의 네트워크 설정 문제(캡티브 포털 로드 실패)를 겪었다. 이 문제는 systemd-resolved가 잘못된 DNS 설정을 사용하고 있었기 때문이었다. 다행히 Qwen 모델 기반 에이전트의 도움으로 신속하게 문제를 해결할 수 있었다.
5월 12일13