Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
RTX 5060 Ti에서 Qwen3 30B A3B를 초당 50 토큰으로 실행하기
커스텀 CUDA 및 C++ 코드를 활용하여 VRAM 16GB의 RTX 5060 Ti에서 Qwen3-30B-A3B 모델을 초당 50~54 토큰 속도로 구동하는 방법을 제시합니다. 이는 기존 llama.cpp 방식 대비 약 50% 향상된 성능으로, 소비자 하드웨어에서의 로컬 추론 가능성을 높입니다.
7월 11일0
r/LocalLLaMAAI 번역분석
marty1885가 개발한 초기 ET 백엔드 · Pull Request #24179 · ggml-org/llama.cpp
본 PR은 AINekko와 AIFoundry 멤버들이 개발한 ET 백엔드를 llama.cpp에 추가합니다. 이는 Esperanto Technologies가 개발한 ET-SOC-1 프로세서를 지원하며, 오픈 소스 하드웨어를 추론 생태계에 통합하는 것을 목표로 합니다.
7월 10일0
r/LocalLLaMAAI 번역분석
Halo용 다중 노드 컴퓨팅 패브릭 / MLX
AMD Strix Halo 및 MLX를 위한 오픈 소스 이기종 AI 컴퓨팅 패브릭 솔루션인 Skulk를 소개합니다. 이는 AMD 샤딩을 지원하며, 사용자가 직접 확장 가능한 플러그인 API와 다중 노드 추론 기능을 제공하는 것이 특징입니다. 다양한 모델과 서비스를 통합하고, STT/TTS 같은 엔티티를 포함하여 개발자들이 새로운 노드를 구축할 수 있도록 설계되었습니다.
7월 8일0
r/LocalLLaMAAI 번역분석
CSB1-N10SPK3 RISC-V Server Edge 10 노드 클러스터 320GB RAM 600TOPS
RISC-V 아키텍처 기반의 CSB1-N10SPK3 서버 에지 클러스터 제품 사양을 소개합니다. 10개 노드로 구성된 클러스터는 총 320GB RAM과 600TOPS의 높은 연산 성능을 제공합니다.
7월 7일0
r/LocalLLaMAAI 번역분석
이틀 전 Ascent GX10을 수령하여 단일 Spark에서 REAP-pruned NVFP4 DeepSeek-V4-Flash를 실행해 보았으며
Ascent GX10 하드웨어에서 REAP-pruned NVFP4 기술을 적용한 DeepSeek-V4-Flash 모델의 성능을 테스트했습니다. 긴 컨텍스트 환경에서 처리량(throughput)의 안정성과 일관성을 검증하기 위해 VLLM과 Grafana를 활용한 모니터링을 수행했습니다.
7월 6일0
r/LocalLLaMAAI 번역분석
Qualcomm, Windows 노트북에서 LLM을 실행하기 위한 GenieX 출시
Qualcomm이 Windows 노트북 환경에서 LLM을 효율적으로 실행할 수 있도록 돕는 GenieX를 출시했습니다. 이 SDK를 통해 Gemma 4 및 Qwen 모델 등을 GPU와 NPU에서 구동하여 최적화된 성능을 얻을 수 있습니다.
7월 5일0
r/LocalLLaMAAI 번역분석
Blackwell에서의 동시성(Concurrency) 및 nvfp4 활용
NVIDIA Blackwell GPU 환경에서 vLLM을 활용해 Qwen3.6-35B-A3B-NVFP4 모델의 대량 이미지 캡셔닝 성능을 테스트한 결과입니다. 30개의 동시 스트림 실행 시 약 2000 TPS를 기록하며, MoE 모델의 효율적인 전문가 선택과 NVFP4 양자화의 성능 이점을 분석합니다.
7월 5일0
r/LocalLLaMAAI 번역분석
DGX-Spark 및 과열 문제
여름철 DGX-Spark 사용 중 발생하는 과열 및 락업 문제를 해결하기 위해 nvidia-smi를 이용한 언더클러킹 방법을 소개합니다. GPU 클럭을 제한함으로써 온도를 85°C에서 60°C로 낮출 수 있습니다.
7월 4일0
r/LocalLLaMAAI 번역분석
사람들이 실제로 운영 중인 몇 가지 실제 설정 간의 로컬 추론 속도 비교 (3090 vs 5090 vs dual 6000)
RTX 3090, 5090, Dual RTX 6000 등 다양한 하드웨어 구성에 따른 로컬 LLM 추론 속도를 비교 분석합니다. 각 GPU 설정별 토큰 생성 속도와 프롬프트 처리 성능을 통해 하드웨어 계층별 실질적인 성능 차이를 보여줍니다.
7월 4일0
r/LocalLLaMAAI 번역분석
RTX 5090에서 실행되는 DeepSeek V4 Flash MoE
NVIDIA RTX 5090 환경에서 DeepSeek V4 Flash MoE 모델을 최적화하여 실행한 벤치마크 결과입니다. llama.cpp 포크를 활용해 100만 컨텍스트를 처리하며 높은 토큰 생성 속도를 달성했습니다.
7월 4일0
r/LocalLLaMAAI 번역분석
Intel Arc Pro B70 (32GB) Dense 모델과 MoE 모델의 차이가 예상보다 훨씬 큽니다
Intel Arc Pro B70(32GB) 환경에서 Dense 모델과 MoE 모델의 추론 성능 차이를 비교 분석했습니다. MoE 모델이 Dense 모델보다 훨씬 빠른 프롬프트 처리 및 생성 속도를 보여주었으며, Vulkan 백엔드가 SYCL보다 성능 면에서 우수함을 확인했습니다.
7월 3일0
r/LocalLLaMAAI 번역분석
듀얼 RTX 3090에서 P2P 모드 활성화; 전후 수치 비교 (Qwen2.5-27B INT4, 256k ctx)
듀얼 RTX 3090 시스템에서 P2P(Peer-to-Peer) 모드 활성화에 따른 성능 변화를 벤치마크한 결과입니다. Qwen2.5-27B 모델을 활용해 테스트했으며, 설정의 실질적인 효용성을 검증했습니다.
7월 3일0
r/LocalLLaMAAI 번역분석
팁: Intel ARC에서 PP를 개선하기 위해 이 llama.cpp PR을 사용하세요
llama.cpp의 새로운 Pull Request를 통해 Intel ARC GPU에서 프롬프트 처리(PP) 속도가 대폭 향상되었습니다. 테스트 결과, B580 환경에서 처리 속도가 245t/s에서 462t/s로 크게 개선되었습니다.
7월 2일1
r/LocalLLaMAAI 번역분석
HIP: gfx900에서 dense prefill을 위해 hipBLAS 사용, MoE를 위한 MMQ 유지
AMD gfx900 아키텍처 GPU에서 dense prefill 성능을 높이기 위해 hipBLAS를 사용하고 MoE를 위한 MMQ를 유지하는 최적화 기술이 소개되었습니다. 이를 통해 Qwen 및 Gemma 모델에서 평균 약 40%의 성능 향상을 달성했습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
다양한 AI 머신들을 무료로 체험해 보세요
다양한 로컬 AI 하드웨어의 성능을 직접 비교 체험할 수 있는 'AI 월드 페어' 웹사이트를 소개합니다. MacBook, Strix Halo, RTX 6000 등 다양한 머신의 추론 속도와 비디오 생성 성능을 비교할 수 있습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
EPYC 하이브리드 시스템 벤치마크 및 최적의 CPU
EPYC 프로세서를 활용한 하이브리드 AI 추론 시스템의 성능 벤치마크 결과입니다. 다양한 EPYC 모델과 DDR5 메모리 설정에 따른 LLM 추론 속도(t/s)를 비교 분석했습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
Tesla V100 16GB 로컬 LLM 성능: 단일 및 듀얼 NVLink 벤치마크
Tesla V100 16GB GPU를 활용한 로컬 LLM 추론 성능 벤치마크 결과입니다. 단일 및 NVLink를 통한 듀얼 모듈 구성 시의 토큰 생성 속도와 TCC 모드 설정에 따른 성능 향상 폭을 분석했습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
소비자용(ish) 하드웨어에 H200 NVL 구축하기
Threadripper 프로세서와 H200 NVL을 활용하여 소비자용 등급의 하드웨어에 고성능 GPU를 구축한 사례를 소개합니다. 성공적인 구축을 위해 BIOS의 PCIe 관련 세부 설정과 커스텀 쿨링 시스템이 필수적임을 강조합니다.
6월 29일0
r/LocalLLaMAAI 번역분석
$2500 미만의 저예산 하드웨어에서 GLM5.2 실행하기
$2500 미만의 저예산 하드웨어 구성을 통해 GLM5.2와 같은 대규모 모델을 실행하는 방법을 제안합니다. 중고 GPU와 부품을 활용하여 비용 효율적인 로컬 AI 환경을 구축할 수 있습니다.
6월 27일0
r/LocalLLaMAAI 번역분석
Shenzhen Huaqiangbei에서 발견된 96GB 5090
Shenzhen Huaqiangbei 시장에서 96GB VRAM으로 개조된 RTX 5090 제품이 판매되고 있다는 소식입니다. 기존 5090에 VRAM을 교체하는 방식으로, 총 비용은 약 8,200달러로 추산됩니다.
6월 27일0