오늘의 트렌드
최근 24시간최근 글과 출처가 충분히 쌓이면 근거를 확인한 코멘트를 표시합니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
M5 Ultra 256으로 GLM 5.3 Flash를 68.8 tok/s로 구동하기
M5 Ultra와 256GB 메모리를 사용하여 GLM 5.3 Flash 모델을 구동하는 성능 테스트에 대한 내용입니다. 본문은 실제 기술 기사라기보다는 '인간 인증' 챌린지 페이지의 형태로 구성되어 있어, 구체적인 기술 분석 내용은 포함하고 있지 않습니다.
10월 7일1
r/LocalLLaMAAI 번역분석
Micron: 베이스 다이에 메모리 컨트롤러를 통합한 NVHBM이 수익성 개선에 기여할 것이라 밝혀
Micron이 개발한 NVHBM은 메모리 컨트롤러를 베이스 다이에 통합하여 전력 소비를 15% 줄이고, 메모리 대역폭을 최대 30% 증가시키는 기술입니다. 또한 I/O PHY에 필요한 패키지 면적도 크게 줄여 효율성을 높였습니다.
10월 7일0
r/LocalLLaMAAI 번역분석
Qwen3.8-Flash-Next (125B)를 단일 Strix Halo mini PC에서 구동한 결과: 추측 디코딩 사용 시 44~59
AMD Strix Halo mini PC에서 Qwen3.8-Flash-Next (125B MoE) 모델을 구동한 결과를 공유합니다. 새로운 추론 엔진 Kyojin과 95GB EXL3 가중치를 통해, 이 미니 PC 환경에서도 높은 속도와 긴 컨텍스트 처리 능력을 입증했습니다. 특히 추측 디코딩 사용 시 코드 작업에서 58 tok/s를 기록하는 등 강력한 성능을 보여주었습니다.
10월 7일1
r/LocalLLaMAAI 번역분석
cmpunlocker v0.5 출시: ECC 지원 및 4개 SM 추가 무료 제공
새로운 버전의 cmpunlocker v0.5가 출시되었습니다. 이 버전은 ECC(Error-Correcting Code) 지원 기능을 추가하고, 4개의 SM(Streaming Multiprocessor)을 무료로 제공하는 것이 주요 특징입니다. 또한 Gen3 언락 기능도 곧 공개될 예정이라고 합니다.
10월 7일0
r/LocalLLaMAAI 번역분석
35달러에 54GB VRAM을 가진 장비 구매
사용자가 러시아의 중고 장터에서 오래된 마이닝 팜을 저렴하게 구매했다. 이 장비는 총 54GB VRAM을 가진 9개의 GPU(p106 6gb/gtx 1060 6gb)로 구성되어 있었으며, 작동 여부가 불확실했음에도 불구하고 정상적으로 구동되는 것을 확인했다.
10월 6일0
r/LocalLLaMAAI 번역분석
시스템 RAM 64GB의 저주
작성자는 R9700과 RTX 5060 Ti를 사용하는 시스템에서 로컬 LLM 및 이미지/비디오 추론을 수행하는 경험을 공유합니다. 특히 Strata 사용 시 속도가 크게 향상되었으나, 이로 인해 시스템 RAM(64GB) 사용량이 포화되어 다른 워크로드(ComfyUI 등)를 동시에 실행할 수 없는 제약에 직면했습니다.
10월 4일1
r/LocalLLaMAAI 번역분석
몬스트로시티: 5개 Ex mining BC-250 보드로 Qwen3-Coder-Next Q4를 40 tok/s 속도로 구동하기
사용자는 5개의 Ex mining BC-250 보드를 활용하여 Qwen3-Coder-Next Q4 모델을 구동하는 실험 결과를 공유했습니다. 총 71GB의 VRAM을 확보했으며, 30k 컨텍스트에서 40 tok/s를 기록하고 100k 컨텍스트에서는 약 30 tok/s로 속도가 감소함을 보고했습니다.
9월 28일3
r/LocalLLaMAAI 번역분석
3x RTX 3090에서 2x RTX 5090으로 업그레이드한 후기
작성자는 홈랩 서버의 GPU를 3x RTX 3090에서 2x RTX 5090으로 업그레이드하고, 소프트웨어 최적화(speculative decoding + NVFP4)를 적용하여 상당한 성능 향상을 경험했습니다. 이 과정에서 새로운 하드웨어 구성과 소프트웨어 업데이트가 AI 모델 구동에 미치는 영향을 비교 분석했습니다.
9월 27일2
r/LocalLLaMAAI 번역분석
M5 Ultra AI 테스트 결과
M5 Ultra 칩의 AI 테스트 결과를 공유하며, M3 Ultra 대비 프롬프트 처리 속도가 최대 4~4.5배 빠르고 tok/s도 약 1.5배 향상된 것을 보여줍니다. 다만, 전력 소모가 두 배로 증가하고 발열 및 팬 소음이 커진다는 단점도 함께 언급했습니다.
9월 23일2
r/LocalLLaMAAI 번역분석
LACT PR을 통해 NVIDIA GPU의 기본 VBIOS 제한보다 낮은 전력 소비 가능
LACT PR은 사용자에게 GPU의 기본 VBIOS 제한보다 낮은 전력 소비를 설정할 수 있는 기능을 제공합니다. 이를 통해 최대 30W까지 전력을 낮출 수 있으며, RTX 6000 PRO와 같은 카드에서는 최소 75W까지 조정이 가능하여 전력 효율성을 높입니다.
9월 16일2
r/LocalLLaMAAI 번역분석
K2 Horizon 라인업이 AA에 공개되었고, 또다시 AA 플롯은 오해를 불러일으킵니다.
K2 Horizon 라인업이 공개되었으며, AA 플롯 분석 결과 3.7B와 7B 모델이 현재 SOTA로 주목받고 있습니다. 다만, 이들 모델의 KV 캐시 디자인 문제점과 특정 하드웨어 환경(Strix Halo 등)에서의 성능 적합성에 대한 논의가 주를 이루고 있습니다.
9월 15일1
r/LocalLLaMAAI 번역분석
Showoff Saturday: 로컬 4x 6000 Pro (다년간의 발전 과정)
개인적인 열정과 데이터 프라이버시 보호를 목적으로 구축한 로컬 AI 클러스터의 다년간 발전 과정을 공유합니다. RTX 3090에서 시작하여 4x RTX 6000 Pro Max Q를 포함한 고성능 GPU 서버로 업그레이드하며 겪은 하드웨어 구성 및 트러블슈팅 경험을 담고 있습니다.
8월 8일3
r/LocalLLaMAAI 번역분석
RTX 5090 소유자가 12VHPWR 케이블의 과도한 전력 소모를 감지하면 PC를 종료하는 오픈 소스 도구를 개발했으나, 특정 GPU에서만
RTX 5090 사용자를 위해 12VHPWR 케이블의 과도한 전력 소모를 감지하여 PC를 강제 종료하는 오픈 소스 도구가 개발되었습니다. 다만, 이 도구는 모든 GPU가 아닌 특정 GPU 모델에서만 작동하는 한계가 있습니다.
8월 7일2
r/LocalLLaMAAI 번역분석
2 x 5070ti 환경에서 Qwen 27B 전체 설정 및 통계
2 x 5070ti 환경에서 Qwen 27B 모델을 최적화하여 실행하는 설정과 성능 통계를 공유합니다. vLLM의 KV 캐시 수정 사항을 통해 생성 속도 저하 없이 동시 스레드 실행과 대규모 컨텍스트 확보가 가능함을 보여줍니다.
8월 6일3
r/LocalLLaMAAI 번역분석
MacBook M5 Pro 64GB에서 SSD 스트리밍을 일부 활용하여 DeepSeek V4 Flash 0731을 10–17 t/s
MacBook M5 Pro 64GB 환경에서 SSD 스트리밍 기술을 활용하여 DeepSeek V4 Flash 0731 모델을 구동한 결과, 초당 10~17 토큰의 속도를 달성했습니다.
8월 5일2
r/LocalLLaMAAI 번역분석
5090의 전력 제한을 최소 480W로 낮추세요 - 추론 (Inference) 시 성능 저하는 미미합니다.
RTX 5090의 전력 제한을 480W로 설정할 경우, 소음과 발열을 크게 줄이면서도 추론 성능 저하는 미미함을 실험을 통해 확인했습니다. 450W 이하로 낮추면 성능 저하가 급격해지므로 480W가 효율적인 지점입니다.
8월 4일3
r/LocalLLaMAAI 번역분석
현재 Mac에서 DS4 Flash를 실행하는 가장 좋은 방법 (192GB+ VRAM)
Mac M3 Ultra 환경에서 DeepSeek-V4-Flash 모델을 최적화하여 실행하는 방법을 소개합니다. MXFP4 양자화 버전을 활용하여 MLX 프레임워크 기반으로 매우 빠른 토큰 생성 속도를 구현했습니다.
8월 4일3
r/LocalLLaMAAI 번역분석
상자 속의 데이터 센터 (바퀴 달린 형태): 256GB VRAM/512GB RAM AI 서버 6~8개월 운영 리뷰, 안정성 보고 및 벤치마크
8개의 RTX 3090과 2개의 RTX 5090을 탑재한 256GB VRAM 규모의 고성능 AI 서버 구축 및 6~8개월 운영 리뷰입니다. IT 인프라 엔지니어의 관점에서 하드웨어 구성, 안정성, 그리고 대규모 MoE 모델 추론을 위한 최적의 시스템 사양을 공유합니다.
8월 3일3
r/LocalLLaMAAI 번역분석
LM Studio 패치 후 M1 Ultra 128GB에서 DeepSeek V4 IQ3XXS 구동 - 16 tok/s 기록
LM Studio 패치 이후 M1 Ultra 128GB 환경에서 DeepSeek V4 IQ3XXS 모델을 구동하여 초당 16토큰의 속도를 기록했습니다.
8월 2일1
r/LocalLLaMAAI 번역분석
16xGB10 (DGX Spark) 클러스터 구축
Deepseek v4 pro 등 대규모 오픈 모델을 로컬에서 실행하기 위해 16xGB10 클러스터를 구축하는 과정을 설명합니다. 고속 네트워크 연결을 통해 2T+ 규모의 모델 실행 가능성을 목표로 합니다.
8월 2일2