Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
Qwen2.5-27B 코드 생성 테스트를 위해 Vast AI에서 20GB 3080 4장을 벤치마킹했습니다 (quad 5060Ti 4장보다 더
Vast AI에서 RTX 3080 4장을 활용해 Qwen2.5-27B 모델의 코드 생성 성능을 벤치마킹한 결과입니다. 저렴한 중고 부품 조합으로 높은 컨텍스트 처리 속도와 가성비를 갖춘 강력한 AI 워크스테이션 구축이 가능함을 보여줍니다.
7월 23일0
r/LocalLLaMAAI 번역분석
16x AMD MI50 32GB: llama.cpp RPC를 사용한 GLM-5.2 Q4 12.2 tok/s 성능
16개의 AMD MI50 GPU를 활용하여 llama.cpp RPC 기반으로 GLM-5.2 모델을 구동한 성능 테스트 결과입니다. 10.7k 컨텍스트 환경에서 약 10.2 tok/s의 출력 속도를 기록하며 분산 VRAM 환경에서의 추론 성능을 보여줍니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Poolside가 Laguna S 2.1을 출시하기에 완벽한 날이었네요. 드디어 괜찮은 양의 VRAM을 확보했습니다! 3x V620 = 96
사용자가 Poolside의 Laguna S 2.1 모델을 테스트하기 위해 V620 GPU 3개를 활용한 하드웨어 환경을 구축했습니다. 96GB의 VRAM을 통해 256K 컨텍스트를 처리하며, 비용 대비 준수한 성능을 확인했습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
나의 듀얼 5060 Ti 설정이 왜 사용률 50%를 넘지 못하는지에 대해 알게 된 점 (고장 난 것이 아닙니다)
듀얼 GPU 환경에서 모델 추론 시 GPU 사용률이 낮게 나타나는 원인이 연산 능력이 아닌 메모리 대역폭 제한에 있음을 설명합니다. 토큰 생성 시마다 모델 가중치를 메모리에서 읽어와야 하는 병목 현상을 다룹니다.
7월 22일0
r/LocalLLaMAAI 번역분석
P40 및 MI50 환경에서 RPC를 이용한 550B Nemotron Ultra Q3_S 구동
P40 및 MI50과 같은 구형 GPU 하드웨어 환경에서 RPC를 활용하여 550B Nemotron Ultra 모델을 구동한 벤치마크 결과입니다. 100Gbe NIC와 다수의 GPU를 결합하여 대규모 모델의 처리량을 테스트했습니다.
7월 22일0
r/LocalLLaMAAI 번역분석
Intel Arc Pro b70 박스 및 3D 모델
Intel Arc Pro b70 그래픽 카드의 3D 모델링 데이터와 이를 활용한 하드웨어 구성 사례를 소개합니다. 사용자가 직접 캘리퍼스로 측정하여 FreeCAD 및 STL 형식으로 설계한 모델을 공유합니다.
7월 21일0
r/LocalLLaMAAI 번역분석
Apple Silicon에서의 Diffusion LLM (LLaDA2.1 & Sumi) 실험
Apple Silicon 환경에서 Diffusion LLM(LLaDA2.1 & Sumi)의 성능 최적화를 위한 다양한 실험 결과를 공유합니다. 양자화 레이아웃, KV 캐시 재사용, 멀티 블록 언마스킹 및 자동 추측 기법을 M1 및 M2 Ultra 플랫폼에서 테스트했습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
MacBook 1대 vs DGX Spark 2대: Terminal-Bench 2.1에서 DeepSeek-V4-Flash 점수 54% vs
MacBook M5 Max와 DGX Spark 2대 환경에서 DeepSeek-V4-Flash 모델의 성능을 Terminal-Bench 2.1로 비교 분석했습니다. 양자화 방식과 하드웨어 구성이 다름에도 불구하고 두 환경 간의 태스크 완료율 격차가 매우 적음을 확인했습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
AMD R9700s를 위한 커스텀 Q8 튜닝 완료. 벤치마크 결과 12.5% 더 빠름
AMD Radeon AI PRO R9700s 하드웨어에 최적화된 커스텀 Q8 양자화 튜닝 결과와 ROCmFPX 프로젝트를 소개합니다. gfx1201 디코드 튜닝을 통해 기존 업스트림 방식 대비 모델 크기를 줄이고 디코드 속도를 약 5.8% 향상시켰습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
CMP 170HX 8gb — 성능 향상, 메모리 및 PCIe Gen2 잠금 해제 - NVIDIA 드라이버 610.43.03 (패치된 오픈 커널
NVIDIA CMP 170HX GPU의 성능, 메모리 용량 및 PCIe Gen2 제한을 해제하는 패치된 오픈 커널 모듈과 드라이버 설치 가이드를 소개합니다. 리눅스 환경에서 특정 장치 ID를 대상으로 메모리 용량을 확장하고 성능을 최적화할 수 있습니다.
7월 20일0
r/LocalLLaMAAI 번역분석
ASUS Ascent GX10 쿨링 스탠드 (140mm 흡기 팬용)
ASUS Ascent GX10 쿨링 스탠드는 GB10 클러스터의 열적 프로파일을 개선하기 위해 설계되었습니다. 본체를 높이고 140mm 냉각 팬을 추가하여 흡기구에 고압 공기를 공급함으로써, 무거운 부하 상태에서도 온도 쓰로틀링이나 충돌 없이 안정적인 성능 유지가 가능합니다.
7월 17일0
r/LocalLLaMAAI 번역분석
NVIDIA H200 NVL 분해 및 EK-Pro H200 NVL 워터 블록 설치 과정
본 영상은 NVIDIA H200 NVL GPU를 분해하고 EK-Pro 워터 블록을 설치하는 상세 과정을 다룹니다. PCB의 서멀 패드와 페이스트 제거부터 새로운 서멀 컴파운드 도포, 그리고 워터 블록 재조립 및 누수/스트레스 테스트까지 전문적인 절차를 안내합니다. 이 커스텀 액체 냉각 시스템은 8개 H200 GPU로 구성되어 최대 7,000W의 전력을 소비하며 안정성을 입증했습니다.
7월 16일0
r/LocalLLaMAAI 번역분석
PSA: Nvidia의 CMP 170HX Full Compute 및 메모리(80GB)가 Exploit을 통해 잠금 해제될 수 있을지 모릅니다
Nvidia의 CMP 170HX가 Exploit을 통해 원래의 컴퓨팅 기능과 메모리(80GB)를 잠금 해제할 수 있다는 연구 결과가 공유되었습니다. 이 제품은 본래 암호화폐 채굴용으로 제한되었으나, 보안 프로세서의 취약점을 이용해 A100급 성능 복구가 가능할 것으로 예상됩니다.
7월 16일1
r/LocalLLaMAAI 번역분석
Qwen3.5 122B-A10B · ROCmFP4 iMatrix
Qwen3.5 모델을 AMD ROCm 환경에서 최적화한 iMatrix를 소개합니다. 이 기술은 122B 파라미터 중 활성 파라미터를 10B로 줄여 메모리 사용량을 크게 절감했습니다. 이를 통해 디코딩 속도를 높이고 효율성을 개선하는 데 초점을 맞추고 있습니다.
7월 16일0
r/LocalLLaMAAI 번역분석
GB10 8개 사용 시 GLM-5.2-Int4-Int8 성능: 전처리(prefill) 약 1,200 t/s, 평균 디코딩(decode)
GLM-5.2-Int4-Int8 모델을 GB10 8개 GPU 환경에서 구동했을 때의 성능 지표를 공유합니다. 전처리(prefill) 속도는 약 1,200 t/s이며, 평균 디코딩(decode) 속도는 일반 작업 시 33–54 t/s로 측정되었습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
PrismML Bonsai 27B 모델을 Jetson Orin Nano 8GB에서 사용하기에 놀라울 정도로 유용함
PrismML Bonsai 27B 모델을 Jetson Orin Nano 8GB 환경에서 구동하는 성능 지표를 공유합니다. 이 설정은 전력 소모가 약 25W로 효율적이며, 복잡한 작업을 수행하기에 충분히 유용함을 보여줍니다.
7월 14일1
r/LocalLLaMAAI 번역분석
Ryzen AI Halo (Strix Halo)를 활용하여 로컬 추론 성능을 10~15% 향상시키는 설정 방법
AMD의 새로운 Ryzen AI Halo (Strix Halo) 시스템을 활용하여 LLM 추론 성능을 개선하는 설정 방법을 공유합니다. 이 설정을 통해 로컬 환경에서 10~15%의 성능 향상을 얻을 수 있습니다.
7월 14일0
r/LocalLLaMAAI 번역분석
듀얼 RTX 6000 사용에 합류하다
작성자는 듀얼 RTX 6000 GPU 설정 및 VLLM을 이용한 deepseek v4 flash dspark 구동 경험을 공유하며, 이러한 하드웨어 인프라 구축의 가치를 강조했습니다. 이는 AI 모델 구동에 필요한 강력한 컴퓨팅 자원 확보가 중요함을 시사합니다.
7월 13일0
r/LocalLLaMAAI 번역분석
벤치마크 - 4x 5060 Ti (64GB VRAM) (P2P) - Qwen3.6 27B (INT8 / bf16 KV 캐시) @ 8 동시성
제공된 입력은 벤치마크 결과 이미지와 제목만 포함하고 있어, 구체적인 내용을 요약하기 어렵습니다. 다만, Qwen3.6 27B 모델을 특정 하드웨어 환경(4x 5060 Ti, 64GB VRAM)에서 다양한 설정(INT8/bf16 KV 캐시, 8 동시성)으로 테스트한 성능 비교 자료임을 알 수 있습니다.
7월 12일0
r/LocalLLaMAAI 번역분석
PCIE를 통한 6개의 MI50 vs PEX8749을 통한 4개 MI50 및 PCIE를 통한 2개 MI50
MI50 칩셋 기반의 다중 GPU 시스템 구성 시, 단순히 칩 개수보다 어떤 방식으로 연결하는지가 성능에 결정적인 영향을 미친다는 질문입니다. 특히 PCI Express(PCIE) 슬롯을 통한 직접 연결과 PEX8749 같은 고속 인터커넥트를 활용한 하이브리드 연결 방식의 성능 비교 및 최적화 방안을 문의하고 있습니다.
7월 11일0