Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
r/LocalLLaMAAI 번역분석
듀얼 RTX 3090에서 P2P 모드 활성화; 전후 수치 비교 (Qwen2.5-27B INT4, 256k ctx)
듀얼 RTX 3090 시스템에서 P2P(Peer-to-Peer) 모드 활성화에 따른 성능 변화를 벤치마크한 결과입니다. Qwen2.5-27B 모델을 활용해 테스트했으며, 설정의 실질적인 효용성을 검증했습니다.
7월 3일0
r/LocalLLaMAAI 번역분석
팁: Intel ARC에서 PP를 개선하기 위해 이 llama.cpp PR을 사용하세요
llama.cpp의 새로운 Pull Request를 통해 Intel ARC GPU에서 프롬프트 처리(PP) 속도가 대폭 향상되었습니다. 테스트 결과, B580 환경에서 처리 속도가 245t/s에서 462t/s로 크게 개선되었습니다.
7월 2일2
r/LocalLLaMAAI 번역분석
HIP: gfx900에서 dense prefill을 위해 hipBLAS 사용, MoE를 위한 MMQ 유지
AMD gfx900 아키텍처 GPU에서 dense prefill 성능을 높이기 위해 hipBLAS를 사용하고 MoE를 위한 MMQ를 유지하는 최적화 기술이 소개되었습니다. 이를 통해 Qwen 및 Gemma 모델에서 평균 약 40%의 성능 향상을 달성했습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
다양한 AI 머신들을 무료로 체험해 보세요
다양한 로컬 AI 하드웨어의 성능을 직접 비교 체험할 수 있는 'AI 월드 페어' 웹사이트를 소개합니다. MacBook, Strix Halo, RTX 6000 등 다양한 머신의 추론 속도와 비디오 생성 성능을 비교할 수 있습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
EPYC 하이브리드 시스템 벤치마크 및 최적의 CPU
EPYC 프로세서를 활용한 하이브리드 AI 추론 시스템의 성능 벤치마크 결과입니다. 다양한 EPYC 모델과 DDR5 메모리 설정에 따른 LLM 추론 속도(t/s)를 비교 분석했습니다.
6월 30일0
r/LocalLLaMAAI 번역분석
Tesla V100 16GB 로컬 LLM 성능: 단일 및 듀얼 NVLink 벤치마크
Tesla V100 16GB GPU를 활용한 로컬 LLM 추론 성능 벤치마크 결과입니다. 단일 및 NVLink를 통한 듀얼 모듈 구성 시의 토큰 생성 속도와 TCC 모드 설정에 따른 성능 향상 폭을 분석했습니다.
6월 30일7
r/LocalLLaMAAI 번역분석
소비자용(ish) 하드웨어에 H200 NVL 구축하기
Threadripper 프로세서와 H200 NVL을 활용하여 소비자용 등급의 하드웨어에 고성능 GPU를 구축한 사례를 소개합니다. 성공적인 구축을 위해 BIOS의 PCIe 관련 세부 설정과 커스텀 쿨링 시스템이 필수적임을 강조합니다.
6월 29일1
r/LocalLLaMAAI 번역분석
$2500 미만의 저예산 하드웨어에서 GLM5.2 실행하기
$2500 미만의 저예산 하드웨어 구성을 통해 GLM5.2와 같은 대규모 모델을 실행하는 방법을 제안합니다. 중고 GPU와 부품을 활용하여 비용 효율적인 로컬 AI 환경을 구축할 수 있습니다.
6월 27일1
r/LocalLLaMAAI 번역분석
Shenzhen Huaqiangbei에서 발견된 96GB 5090
Shenzhen Huaqiangbei 시장에서 96GB VRAM으로 개조된 RTX 5090 제품이 판매되고 있다는 소식입니다. 기존 5090에 VRAM을 교체하는 방식으로, 총 비용은 약 8,200달러로 추산됩니다.
6월 27일2
r/LocalLLaMAAI 번역분석
4x5060 Ti bifurcation 환경에서의 P2P 트러블슈팅 결과
4x5060 Ti bifurcation 환경에서 PCIe 브리지가 P2P 통신의 병목 지점이 되어 성능 저하를 일으키는 문제를 분석합니다. 이를 해결하기 위한 하드웨어 교체, 병렬 처리 방식 변경 등 다양한 트러블슈팅 방안을 제시합니다.
6월 27일1
r/LocalLLaMAAI 번역분석
M2 MacBook Pro에서 6개의 로컬 모델 속도 벤치마크 수행
M2 MacBook Pro(96GB 통합 메모리) 환경에서 Ollama를 통해 6개 로컬 모델의 추론 속도를 벤치마크한 결과입니다. Qwen2.5 3B 모델이 예상과 달리 Llama 3.2를 포함한 동급 모델들보다 빠른 성능을 보여주었습니다.
6월 26일0
r/LocalLLaMAAI 번역분석
컨슈머급 하드웨어에서의 GLM 5.2 구동
Unsloth 양자화 버전의 GLM 5.2 모델을 Threadripper Pro와 dual RTX 5090 기반의 컨슈머급 하드웨어에서 구동한 테스트 결과입니다. llama.cpp를 활용하여 최적화된 설정을 적용한 결과, 약 12t/s의 지속적인 추론 속도를 확인했습니다.
6월 25일0
r/LocalLLaMAAI 번역분석
Mac Studio에서의 GLM 5.2 속도 향상 PR
Mac Studio의 대용량 메모리를 활용하여 GLM 5.2 모델의 실행 속도를 대폭 향상시키는 PR이 공개되었습니다. 100k 이상의 긴 컨텍스트에서도 100 t/s 이상의 프리필 속도를 유지하며 효율적인 모델 실행이 가능합니다.
6월 23일1
r/LocalLLaMAAI 번역분석
7개의 중국 기업이 이미 H100/H200급 AI 칩을 출하하고 있으며, 대부분은 지난 6개월 내에 IPO를 완료했습니다. 제가 이들을 모두
중국 내 AI 가속기 시장의 급격한 성장과 주요 기업들의 동향을 분석합니다. Huawei를 포함한 빅테크와 최근 IPO를 마친 전문 기업들이 H100/H200급 칩을 출하하며 NVIDIA의 점유율을 빠르게 대체하고 있습니다.
6월 23일0
r/LocalLLaMAAI 번역분석
RTX 5090 + 3090 Ti 환경에서 Qwen3.6-27B Q8 사용 시 100+ t/s 달성 — tensor split 모드 전환으로
RTX 5090과 RTX 3090 Ti 조합에서 llama.cpp의 tensor split 모드를 활용해 Qwen3.6-27B 모델의 추론 속도를 100 t/s 이상으로 끌어올린 설정법을 공유합니다. 레이어 분할 방식 대신 텐서 분할을 사용하여 두 GPU의 연산 효율을 극대화했습니다.
6월 23일1
r/LocalLLaMAAI 번역분석
GPU가 왜 필요하죠?? 6년 된 CPU에서 gemma-4-26B-A4B UD-Q4_K_XL로 64 t/s 생성, 285 PP 달성
6년 된 Xeon CPU 환경에서 llama.cpp 최적화를 통해 Gemma-4 모델을 초당 64토큰의 속도로 구동하는 데 성공했습니다. 이는 고가의 멀티 GPU 장비 없이도 에이전트 기반 코딩이 가능한 수준의 성능을 보여줍니다.
6월 23일0
r/LocalLLaMAAI 번역분석
NVIDIA를 활용한 중국 해커들의 최신 역작
중국 해커들이 NVIDIA Tesla v100의 핀아웃을 역공학하여 하프 하이트 PCB에 구현한 'Tesla v100 v4'를 제작했습니다. 저렴한 가격으로 16G 및 32G 버전을 출시하여 주목받고 있습니다.
6월 22일2
r/LocalLLaMAAI 번역분석
저가형 메인보드 기반 4x3090 + 192GB 구성으로 GLM5.2 @7tg 구동
RTX 3090 4장과 192GB RAM을 활용하여 GLM5.2 등 대규모 모델을 구동할 수 있는 가성비 홈 랩 시스템 구축 사례를 소개합니다. 소비자용 하드웨어를 최적화하여 기업용 워크플로우 자동화를 위한 로컬 AI 환경을 구축하는 방법을 다룹니다.
6월 22일0
r/LocalLLaMAAI 번역분석
M.2 어댑터와 사악한 ATX Y-splitter 케이블에 대한 약간의 분노 섞인 하소연
멀티 GPU 환경을 구축하던 중 M.2 어댑터에 장착된 GPU가 vLLM에서 인식되지 않는 하드웨어 문제를 해결한 사례입니다. 원인은 ATX Y-splitter 케이블을 통한 전력 공유 문제였으며, 별도의 PSU를 추가하여 해결했습니다.
6월 22일1
r/LocalLLaMAAI 번역분석
종이 위의 스펙은 아무 의미가 없습니다: 7900xtx 대 5070ti 비교
단순한 이론적 스펙(TFLOPS, 대역폭)이 실제 AI 모델 구동 성능을 보장하지 않음을 Radeon RX 7900 XTX와 NVIDIA GeForce RTX 5070 Ti의 비교를 통해 설명합니다. 실제 벤치마크 결과, 스펙상 우위에 있던 7900 XTX보다 5070 Ti가 더 나은 성능을 보여줍니다.
6월 20일2