Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
2× RTX 3090 및 중고 Quad-Xeon DDR4 서버에서 DeepSeek V4-Flash (284B MoE) 구동 — 초당 33
중고 RTX 3090 2개와 Quad-Xeon 서버를 활용하여 156GB 크기의 DeepSeek V4-Flash 모델을 구동하는 방법을 소개합니다. 메모리 용량이 핵심인 MoE 모델의 특성을 이용해 저비용 하드웨어 조합으로 전체 체크포인트를 성공적으로 실행했습니다.
8월 3일1
RedditAI 번역요약
4090 + 5060 Ti + 64GB RAM: 35B-A3B에서 206 t/s, 122B에서 37 t/s 달성
RTX 4090과 RTX 5060 Ti를 조합한 듀얼 GPU 환경에서 llama.cpp를 활용한 LLM 추론 성능 벤치마크 결과입니다. 35B-A3B 모델에서 최대 206 t/s, 122B 모델에서도 시스템 RAM 활용을 통해 37-41 t/s의 높은 속도를 달성했습니다.
7월 30일2
RedditAI 번역요약
ROCm 대 Vulkan 벤치마크 결과의 매우 이상한 점
AMD Radeon AI PRO R9700(RDNA4) 환경에서 ROCm 7.14과 Vulkan 백엔드를 사용한 llama.cpp 성능 벤치마크를 수행했습니다. 다양한 모델과 컨텍스트 길이에 따른 두 백엔드 간의 성능 차이를 비교 분석합니다.
7월 28일1
RedditAI 번역요약
MI50 전력 곡선 테스트
AMD MI50 GPU의 전력 제한(power limiting) 설정에 따른 추론 성능 변화를 분석한 테스트 결과입니다. 전력 제한 시 생성 속도는 메모리 대역폭 제한 특성 덕분에 비교적 안정적으로 유지되지만, 프롬프트 처리 속도는 연산 제한 특성으로 인해 더 크게 저하됩니다.
7월 26일2
RedditAI 번역요약
RTX GPU에서의 FlashAttention-3/4 최적화 탐구
RTX GPU 환경에서 FlashAttention-3/4의 최적화 기술 적용 가능성을 실험한 결과, 소비자용 GPU에서는 FA-2가 성능 한계치임을 확인했습니다. FA-3의 핵심인 WGMMA 명령어 부재와 RTX 5090의 텐서 코어 제한 특성으로 인해 최신 최적화 기법들이 유의미한 성능 향상을 이끌어내지 못했습니다.
7월 20일0
RedditAI 번역요약
GPU 전력 효율 향상을 위한 팁과 요령
GPU의 주파수와 전력 제한 설정을 조절하여 전력 효율을 극대화하는 방법을 제안합니다. 성능을 소폭 희생하는 대신 토큰당 에너지 소비량을 크게 줄일 수 있는 실질적인 nvidia-smi 명령어 활용 팁을 공유합니다.
7월 20일4
RedditAI 번역요약
잡아봐, 할 수 있다면: 영구적인 8-GPU 서버 상금 챌린지 (커뮤니티 제안)
AMD Instinct MI50 GPU를 탑재한 8-GPU 로컬 AI 서버의 추론 성능 기록을 경신하기 위한 커뮤니티 챌린지 제안입니다. Reddit 커뮤니티 기금을 통해 서버 구축 및 상금을 운영하며, 기록을 유지하는 도전자에게 서버를 양도하는 방식입니다.
7월 20일1
RedditAI 번역요약
저렴한 64GB VRAM Nvidia 카드에 대한 연구 보고서
본 보고서는 NVIDIA CMP 170HX 카드가 물리적 수정 없이 소프트웨어 패치만으로 A100의 GA100 칩과 HBM2e 메모리 전체를 활용하여 대용량 VRAM을 잠금 해제하는 방법을 다룹니다. 이 과정은 보안 프로세서 악용 및 커널 모듈 사용에 의존하며, 실제 성능과 안정성에는 제한 사항이 존재합니다.
7월 20일1
RedditAI 번역요약
로컬 이미지-3D 변환 (2GB RAM 미만, 20초 이내, Apple Silicon, iPhone)
Apple Silicon을 활용하여 Hunyuan3D-Paint와 Hunyuan3D-Shape 모델이 완성되었으며, 이를 독립형 데스크톱 앱으로 제공합니다. MLX 프레임워크 덕분에 최신 Mac은 물론 iPhone에서도 효율적으로 이미지-3D 변환 작업을 수행할 수 있게 되었습니다.
7월 19일1
RedditAI 번역요약
Bonsai 27B 모델을 iPhone에서 로컬로 구동: 3.9GB 크기의 27B 모델
PrismML이 Qwen3.6-27B 기반의 Bonsai 모델을 1비트 양자화를 통해 약 3.9GB로 경량화했습니다. 이 과정을 거치면서 모델은 휴대폰에서도 구동 가능한 크기가 되었으며, 기존 성능의 90%를 유지하는 것이 핵심입니다.
7월 17일1
RedditAI 번역요약
Macbook Pro에서 Qwen 3.6 27b 모델을 구동했을 때의 82 TPS 달성 및 MTPLX V2 소개
MTPLX V2가 발표되었으며, 사용자 정의 양자화 커널과 컴파일된 검증 단계를 도입하여 성능을 크게 개선했습니다. 이를 통해 Macbook Pro M5 Max 환경에서 Qwen 3.6 27b 모델 구동 시 82 TPS를 달성하는 성과를 보여주었습니다.
7월 16일1
RedditAI 번역요약
주의하세요: 몇몇 채팅 앱들이 VRAM 1GB를 점유하고 있습니다
Discord, Steam, Telegram 등 하드웨어 가속을 사용하는 앱들이 VRAM을 상당 부분 점유하여 LLM 구동에 방해가 될 수 있습니다. VRAM 부족 시 하드웨어 가속을 끄거나 앱을 종료하여 자원을 확보하는 방법을 제안합니다.
7월 4일0
RedditAI 번역요약
Bolt Graphics GPU, 2개의 DDR5 노트북용 DIMM 슬롯 탑재 예정
Bolt Graphics가 DDR5 SODIMM 슬롯을 탑재하여 100GB 이상의 메모리 확장이 가능한 새로운 GPU를 개발 중입니다. 5nm 공정 기반의 이 GPU는 데이터 센터 및 크리에이터를 타겟으로 하며, 높은 메모리 용량과 낮은 지연 시간을 목표로 합니다.
6월 29일2
RedditAI 번역요약
AMD Strix Halo 소유자를 위한 중요한 소식
AMD Strix Halo 사용자가 NPU와 iGPU를 동시에 활용하는 하이브리드 모델 구동이 가능해졌습니다. Lemonade 소프트웨어를 통해 NPU의 빠른 프롬프트 처리 능력을 활용할 수 있으며, AMD의 소프트웨어 개선으로 하드웨어 성능을 극대화할 수 있게 되었습니다.
6월 24일1
RedditAI 번역요약
8-16 MI50s를 이용한 MiniMax M3 성능: 최대 19 tps TG
AMD MI50 GPU를 사용하여 MiniMax M3 모델의 성능을 측정한 결과, MTP 적용 시 최대 19 tps TG를 기록했습니다. 하드웨어 스택 최적화를 통해 성능 향상 여지가 있으나, 에이전트 기반 코딩용으로는 다소 부족한 성능을 보였습니다.
6월 21일2
RedditAI 번역요약
[공지] Best Buy에서 5070ti 16GB 모델이 최저 $500.99까지 가격 인하
Best Buy에서 RTX 5070ti 16GB 모델을 $500.99라는 파격적인 가격으로 재고 정리 판매 중입니다. 현재 시장에서 성능 대비 최고의 가성비를 가진 GPU로 평가받고 있습니다.
6월 15일1
RedditAI 번역요약
Dual DGX Sparks 성능: 단일 1M 토큰 시 40tk/s, 합계 350tk/s - Deepseek V4 Flash (vs RTX
DeepSeek V4 Flash 모델을 두 대의 DGX Sparks에서 실행하여 높은 추론 성능을 확보하는 방법을 공유합니다. ConnectX-7을 활용한 병렬 실행을 통해 단일 요청 시 40tk/s, 합계 350tk/s의 속도를 달성했습니다.
6월 15일1
RedditAI 번역요약
RTX Pro 4500 Blackwell 성능 수치
RTX Pro 4500 Blackwell 32GB GPU의 성능을 기존 RTX 5060 Ti 16GB와 비교 분석한 글입니다. VRAM 용량 증가가 대규모 모델 구동 시 프롬프트 처리 및 토큰 생성 속도에 미치는 압도적인 성능 향상을 수치로 보여줍니다.
6월 15일1
RedditAI 번역요약
LLM 서버 구축 완료: EPYC 9575F, RTX 3090 4개 (96GB VRAM), 768GB ECC RAM
AMD EPYC 9575F와 4개의 RTX 3090을 탑재한 고성능 LLM 추론 서버 구축 사례를 소개합니다. vLLM과 llama.cpp를 활용하여 게임 개발을 위한 AI NPC 시스템을 운영할 계획입니다.
6월 15일1
RedditAI 번역요약
Strix Halo에서의 Gemma 4 QAT Q4_0 벤치마크
AMD Strix Halo APU 환경에서 Google Gemma 4 QAT(양자화 인식 학습) 모델의 로컬 추론 성능을 벤치마크한 결과입니다. llama.cpp의 Vulkan/RADV 백엔드를 사용하여 다양한 크기의 Gemma 4 GGUF 모델을 테스트했습니다.
6월 15일0