Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
LM Studio 패치 후 M1 Ultra 128GB에서 DeepSeek V4 IQ3XXS 구동 - 16 tok/s 기록
LM Studio 패치 이후 M1 Ultra 128GB 환경에서 DeepSeek V4 IQ3XXS 모델을 구동하여 초당 16토큰의 속도를 기록했습니다.
1시간 전0
r/LocalLLaMAAI 번역분석
16xGB10 (DGX Spark) 클러스터 구축
Deepseek v4 pro 등 대규모 오픈 모델을 로컬에서 실행하기 위해 16xGB10 클러스터를 구축하는 과정을 설명합니다. 고속 네트워크 연결을 통해 2T+ 규모의 모델 실행 가능성을 목표로 합니다.
9시간 전0
r/LocalLLaMAAI 번역분석
RTX PRO 6000 Max-Q eGPU를 장착한 Bosgame M5에서의 DeepSeek-V4-Flash-0731 성능
RTX PRO 6000 Max-Q eGPU를 장착한 Bosgame M5 환경에서 DeepSeek-V4-Flash-0731 모델의 양자화별 성능을 측정한 결과입니다. llama.cpp와 DSpark drafter를 활용하여 다양한 양자화 설정(Q2, Q4, Q8)에 따른 디코딩 및 프리필 속도를 비교 분석했습니다.
23시간 전0
r/LocalLLaMAAI 번역분석
ComfyUI에서 AMD V620 워크스테이션 카드를 사용한 성공 사례
AMD Radeon Pro V620 워크스테이션 카드를 ComfyUI 및 로컬 LLM 환경에서 사용한 성공 사례를 공유합니다. 속도는 빠르지 않지만 32GB의 VRAM을 활용해 이미지, 비디오 생성 및 LLM 구동에서 안정적인 성능을 보여줍니다.
2일 전0
r/LocalLLaMAAI 번역분석
Turbo-fieldfare: Apple Silicon에서 2GB RAM으로 Gemma 4 26B를 실행하는 오픈 소스 엔진
Apple Silicon 환경에서 Gemma 4 26B 모델을 단 2GB의 RAM만으로 실행할 수 있는 오픈 소스 Swift/Metal 추론 엔진인 Turbo-fieldfare를 소개합니다. M2 및 M5 칩셋에서 효율적인 추론 속도를 보여주며 OpenAI 호환 로컬 서버 기능도 제공합니다.
3일 전0
r/LocalLLaMAAI 번역분석
아이디어: CPU에서 디코딩 속도는 전체 파라미터가 아닌 토큰당 활성 파라미터에 따라 결정됩니다
CPU 환경에서 디코딩 속도는 전체 파라미터가 아닌 토큰당 활성 파라미터에 의해 결정된다는 이론을 제시합니다. MoE(Mixture of Experts)나 ternary weights를 활용해 모델 용량을 키워도 속도 저하 없이 확장 가능한 아키텍처 설계 가능성을 논합니다.
4일 전0
r/LocalLLaMAAI 번역분석
RX 9070 XT에서 PrismML의 Bonsai 27B (ternary) 사용 후기 — 실제 AMD 환경에서의 인상
AMD RX 9070 XT 환경에서 PrismML의 Bonsai 27B ternary 양자화 모델을 실행한 후기입니다. 극도로 압축된 모델임에도 불구하고 도구 호출(tool calling)과 긴 컨텍스트 유지가 가능함을 확인했습니다.
4일 전0
r/LocalLLaMAAI 번역분석
LLM 추론을 RAM 내부에서 직접 수행하여 메모리 벽(Memory Wall) 문제 해결하기
LLM 추론 시 발생하는 메모리 대역폭 문제를 해결하기 위해 RAM 내부에서 직접 연산을 수행하는 CaSA 기술을 소개합니다. 1-bit 및 ternary 모델을 활용하여 가중치가 메모리 버스를 통과하지 않고 DIMM 내부에서 연산되도록 설계되었습니다.
5일 전0
r/LocalLLaMAAI 번역분석
AMD Ryzen AI MAX+ 395에서 DeepSeek V4 Flash, 최대 32 tok/s 달성
AMD Ryzen AI MAX+ 395 하드웨어에서 DeepSeek V4 Flash 모델을 구동하여 최대 32 tok/s의 디코드 속도를 달성했습니다. ROCmFPX 기술을 활용한 혼합 정밀도 양자화 방식을 통해 128GB 통합 메모리 환경에서 효율적인 추론 성능을 구현했습니다.
5일 전0
r/LocalLLaMAAI 번역분석
Kimi K3 구동을 위한 (반진지한) 자재 명세서 (BoM)
Kimi K3 모델을 구동하기 위해 필요한 하드웨어 자재 명세서(BoM)와 기술적 고려사항을 다룹니다. 2304GB VRAM 확보를 위한 4대의 호스트 구성과 PCIe 5.0 병목 현상, 결함 허용(fault tolerance) 문제 등을 분석합니다.
6일 전0
r/LocalLLaMAAI 번역분석
AMD 6800H (iGPU/UMA)에서 Gemma 4 및 Qwen 3.6 MoE 테스트 - 성능 분석
AMD Ryzen 7 6800H APU 환경에서 Gemma 4 및 Qwen 3.6 MoE 모델의 추론 성능을 벤치마킹했습니다. Vulkan 백엔드를 통해 iGPU와 공유 메모리(UMA)를 활용한 다양한 양자화 방식의 성능을 분석했습니다.
6일 전0
r/LocalLLaMAAI 번역분석
LiteRT-LM, Intel Arc iGPU에서 llama.cpp보다 최대 3.5배 빠름 (Gemma-4 E2B 벤치마크)
Intel Arc iGPU 환경에서 Google의 LiteRT-LM과 llama.cpp의 성능을 비교한 벤치마크 결과입니다. LiteRT-LM은 Gemma-4 E2B 모델 사용 시 llama.cpp보다 프롬프트 처리 속도에서 최대 3.5배 빠른 성능을 보여주었습니다.
6일 전0
r/LocalLLaMAAI 번역분석
FPGA에서 모델을 실행하려는 사람들을 위한 Softmax
FPGA의 하드웨어 제약 사항인 지수 연산 문제를 해결하기 위해 Softmax를 근사하는 방법을 다룹니다. Taylor series와 Pade approximants를 활용하여 속도와 정확도 사이의 트레이드오프를 분석합니다.
6일 전0
r/LocalLLaMAAI 번역분석
RTX 3080 20GB의 VBIOS를 최신 버전으로 플래싱했으나 Rebar 크기가 커지지 않았습니다
RTX 3080 20GB 모델에서 P2P 드라이버 활성화를 위해 VBIOS 플래싱을 시도했으나, Rebar 크기가 확장되지 않는 문제를 확인했습니다. 해당 커스텀 모델들은 일반적인 Nvidia 카드와 달리 펌웨어 업데이트를 통한 Rebar 크기 변경이 불가능한 것으로 보입니다.
6일 전0
r/LocalLLaMAAI 번역분석
ModelExpress: 빛의 속도로 모델 아티팩트(Model Artifacts) 배포하기 - NVIDIA 기술 블로그
NVIDIA ModelExpress(MX)를 통해 모델 가중치 배포 속도를 혁신적으로 개선했습니다. GPU-to-GPU RDMA 기술을 활용하여 DeepSeek-V4 Pro의 시작 시간을 8분에서 2분 미만으로 단축했습니다.
7월 25일0
r/LocalLLaMAAI 번역분석
공지: 멀티 GPU 설정을 위해 Intel 소비자용 플랫폼을 사용하지 마세요
Intel Z890과 같은 소비자용 플랫폼은 PCIe P2P 통신을 방해하는 하드웨어/펌웨어 제한으로 인해 멀티 GPU 구성에 부적합합니다. 이로 인해 AI 학습 및 추론 워크로드에서 대역폭이 급감하고 성능 저하가 발생합니다.
7월 25일0
r/LocalLLaMAAI 번역분석
Celeron N5095 SBC에서 CPU 전용 추론 수행: 0.6B부터 8B까지 6개 모델 벤치마크
Celeron N5095 기반 SBC인 Youyeetoo X1S에서 Ollama를 이용해 CPU 전용 LLM 추론 성능을 벤치마크했습니다. 0.6B 모델은 실용적인 속도를 보였으나, 8B 모델은 메모리 대역폭 한계로 인해 사용이 어려웠습니다.
7월 23일0
r/LocalLLaMAAI 번역분석
Apple M5가 아직 Matmul 코어를 완전히 활용하지 못하고 있는 이유
Apple M5 실리콘의 INT8 활성화 함수 지원 기능을 활용하여 Gemma4 모델의 추론 속도를 개선한 사례를 다룹니다. 작성자가 직접 구축한 w8a8 커널을 통해 프리필(prefill) 성능을 기존 대비 약 1.4배 향상시켰습니다.
7월 23일0
r/LocalLLaMAAI 번역분석
멀티 노드 GPU를 위해 비싼 네트워킹 장비가 필요하지 않습니다: 20달러짜리 USB-이더넷 어댑터를 사용한 2x4060+1x4060
저렴한 USB-이더넷 어댑터를 사용하여 멀티 노드 GPU 환경을 구축하는 방법을 소개합니다. 고가의 네트워킹 장비 없이도 일반 이더넷 케이블을 통한 포인트 투 포인트 연결로 대규모 모델을 실행할 수 있음을 보여줍니다.
7월 23일1
r/LocalLLaMAAI 번역분석
LongCat-2 학습에 사용된 "AI 가속기(AI Accelerators)"에 대해 알려진 것들
LongCat-2 모델 학습에 사용된 중국산 AI ASIC 가속기의 기술적 특징을 분석합니다. Nvidia GPU 없이도 1.6조 파라미터 규모의 모델을 안정적으로 학습할 수 있음을 보여주며, 슈퍼포드 구조와 메모리 최적화 기법을 활용한 설계 방식을 다룹니다.
7월 23일0