Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
RedditAI 번역요약
Mac Studio 단일 기기에서 Muse Spark 구동 현황
Mac Studio 단일 기기에서 Muse Spark 구동 현황을 공유하며, 디코드 속도가 18 t/s에 도달했음을 보고했습니다. 현재는 작업 트리 선택 과정으로 인해 일시적 하락이 있으나, 프리필 저하 문제가 해결되면 안정적인 성능 복구가 예상됩니다.
4일 전0
RedditAI 번역요약
MiMo Pro를 Jetson AGX Thor에서 구동한 경험 공유
Jetson AGX Thor에서 MiMo Pro 모델을 구동한 경험을 공유하며, 기술적 실행 가능성을 확인했습니다. 이 과정에서 566GB의 대규모 모델 크기와 디스크 읽기 작업이 메모리 사용에 영향을 미치는 것을 관찰했습니다.
6일 전1
RedditAI 번역요약
Qwen3.8-Flash-Next 구동을 위한 개인 벤치마크 비교 (듀얼 R9700 구성)
본 글은 듀얼 AMD AI Pro R9700 워크스테이션 환경에서 Qwen3.8-Flash-Next 모델의 다양한 추론 옵션(Unsloth, Strata, Stilldeadcode)을 비교 분석한 내용입니다. 각 엔진별로 TTFT, 프롬프트 처리 속도, 생성 속도를 측정하여 성능 차이를 제시하며, 특히 radiance가 다른 엔진들과 근본적으로 다른 작동 방식을 가지고 있음을 강조합니다.
10월 16일1
RedditAI 번역요약
Basalt에 대한 감상글! Blackwell을 가지고 계신가요? 기쁘지 않으신가요?
Basalt는 Strata 기반의 Blackwell 하드웨어용 포크로, 사용자가 자신의 시스템 사양(5060ti 16GB, 32GB RAM)으로도 높은 성능을 달성한 경험을 공유합니다. 이 글은 커뮤니티 개발자와 사용자 간의 적극적인 상호작용과 기술 공유의 중요성을 강조하며, 전용 코딩 에이전트로서의 만족감을 표현하고 있습니다.
10월 15일0
RedditAI 번역요약
vllm-ascend 업데이트 (GLM5.3-flash)을 듀얼 310P Ascend 카드에서 테스트
본 글은 DDR4x Ascend 310P 카드를 사용하여 GLM-5.3-Flash와 같은 MoE 모델을 최적화하고 테스트한 경험을 공유합니다. 메모리 상주 및 모듈 핫스왑 기능을 통해 개발 효율성을 크게 높였으며, Ascend Sidecard 아키텍처를 제안하며 CUDA/가속기 간의 작업 분할 방식을 설명했습니다.
10월 12일1
RedditAI 번역요약
GitHub - google-ai-edge/ml-drift: GPU 가속 AI/ML 추론
Google AI Edge 팀이 온디바이스 AI/ML 추론을 위한 오픈 소스 GPU 컴퓨팅 엔진 'ML Drift'를 공개했습니다. 이 엔진은 OpenGL ES, OpenCL, Metal, WebGPU 등 다양한 저수준 API의 복잡성을 추상화하여 개발자가 여러 플랫폼에서 실시간 ML 경험을 구축하도록 돕습니다.
10월 9일1
RedditAI 번역요약
두 개의 96GB Ascend 카드로 Qwen3.8-flash-next 구동하기: 하드웨어 노트, vLLM 작업 및 벤치마크 결과
본 글은 Huawei Atlas 300I Duo 카드를 활용하여 Qwen3.8 Flash-Next 모델을 구동한 경험과 하드웨어 노하우를 공유합니다. 이 시스템은 두 개의 96GB 카드(실제로는 네 개의 48GB 레벨)로 구성되어 있으며, vLLM 최적화와 소프트웨어 스택 개선을 통해 높은 추론 성능(최대 61 tok/s)을 달성했음을 보여줍니다.
10월 9일1
RedditAI 번역요약
양자화된 가중치를 FP16 대신 FP8로 스테이징: 2배 빠른 M6 행렬 경로 및 MLX 프리필 성능 +40% 향상 (+ int8 on M5)
MLX 프레임워크를 수정하여 행렬 곱셈(matmul) 스테이징을 FP8 또는 int8로 변경하면, Apple Silicon M6 및 M5 칩에서 LLM 추론 속도를 크게 향상시킬 수 있습니다. 특히 M6에서는 FP8 경로 사용으로 2배 빠른 성능 개선이 가능하며, Qwen3 모델 등에서 최대 40~50%의 프리필 부스트를 얻을 수 있습니다.
10월 9일0
RedditAI 번역요약
GLM-5.3-UNCENSORED를 MXFP4로 양자화하여 AMD GPU용으로 제공
dealignai에서 GLM-5.3-UNCENSORED 모델을 AMD GPU 환경에 최적화하여 MXFP4로 양자화 버전을 제공합니다. 이 버전은 FP8 원본 대비 약 44% 용량이 줄어들어, AMD Quark를 MI355X 서버에서 변환되었으며 사용 가능합니다.
10월 9일0
RedditAI 번역요약
GPU - Vulkan llama.cpp 벤치마크 (가격 대비 성능 순)
본 기사는 Llama.cpp와 Vulkan을 활용하여 로컬 LLM 추론 성능을 GPU별로 벤치마크하고, 가격 대비 최고의 가성비 GPU를 추천합니다. 분석 결과, 최신 소비자용 카드보다 넓은 버스 폭을 가진 엔터프라이즈 또는 구형 플래그십 모델이 비용 효율성이 높았습니다.
10월 8일1
RedditAI 번역요약
Qwen3.8 27B 모델을 단일 AMD Radeon AI PRO R9700으로 구동 (262K 컨텍스트 및 반백만 토큰 재사용 캐시)
Qwen3.8 27B 모델을 단일 AMD Radeon AI PRO R9700 GPU에서 구동하는 최신 기술을 소개합니다. 추측 디코딩과 특화된 3-bit 가중치 및 MXFP4 활성화 방식을 결합하여, 대용량 컨텍스트(262K)와 반백만 토큰의 재사용 캐시를 유지하면서도 이전 버전 대비 속도 저하 없이 높은 성능을 달성했습니다. 특히 긴 문서 처리 시간이 획기적으로 단축되어 에이전트 세션 효율성이 크게 향상되었습니다.
10월 8일0
RedditAI 번역요약
3090에서 20 DGX로 업그레이드: 우리 집 차단기가 첫 번째 병목이었습니다
사용자는 LLaMA부터 DeepSeek, Kimi K3 등 거대 오픈 웨이트 모델을 로컬에서 구동하며 성능 향상을 경험했습니다. 초기 3090 사용 후 전력 및 병목 현상에 직면했으나, ASUS GB10 같은 고성능 GPU 클러스터를 구축하여 속도와 안정성을 극적으로 개선했습니다. 최종적으로 여러 개의 노드를 연결한 대규모 클러스터 환경을 완성하고 최신 모델들을 구동하는 과정을 공유합니다.
10월 8일0
RedditAI 번역요약
저사양 사용자용 Vulkan GPU 목록
본 기사는 저사양 환경에서도 Vulkan 백엔드를 활용하여 구동 가능한 예산 친화적인 GPU 목록을 제공합니다. NVIDIA 및 AMD의 과거 모델들을 중심으로 VRAM과 메모리 대역폭 기준을 제시하며, 특정 아키텍처를 이용한 시스템 구축 사례도 공유하고 있습니다.
10월 8일0
RedditAI 번역요약
Dual GPUs vLLM 리소스 (50 + 40 NVIDIA GPU용)
본 기사는 vLLM을 활용한 Dual GPU 환경 구축에 대한 리소스 정보를 제공합니다. 특히 50GB와 40GB NVIDIA GPU를 사용하는 구체적인 시나리오를 다루며, 고성능 AI 추론 환경 구성에 초점을 맞추고 있습니다.
10월 7일0
RedditAI 번역요약
벤치마크: Orange Pi 5 Plus에서 로컬 LLM 구동하기 (RK3588, 16GB): Ollama Tok/s, NPU 오프로딩, 코어
Orange Pi 5 Plus (RK3588)에서 로컬 LLM을 구동하는 성능 및 병목 현상을 분석했습니다. CPU 추론 시 코어 고정(Core Pinning)이 중요하며, NPU를 활용하면 전력 효율성과 속도 면에서 큰 이점을 얻을 수 있습니다. 메모리 대역폭과 열 관리가 주요 고려 사항입니다.
10월 7일0
RedditAI 번역요약
Glimmer 30B DFlash 로컬 벤치마크 결과 (RTX 3060 12GB + RTX 3070 8GB)
본 글은 Glimmer 30B 모델을 RTX 3060 12GB와 RTX 3070 8GB 조합의 하드웨어 환경에서 llama.cpp를 사용하여 로컬로 테스트한 벤치마크 결과를 공유합니다. 프롬프트 처리 속도(평균 684.86 t/s)와 생성 속도(평균 41.97 t/s) 등 구체적인 성능 지표를 제시하여, 유사 환경의 사용자들에게 참고 자료를 제공하는 것이 목적입니다.
10월 7일0
RedditAI 번역요약
NInfer6000 - Qwen 3.8 Flash Next 모델을 RTX6000에서 400 tg/s 및 13K pp/s로 구동
RTX6000의 NInfer 포크를 활용하여 Qwen 3.8 Flash Next 모델을 테스트한 결과를 공유합니다. 이 모델은 NVFP4 MoE 구조로, 최대 96GB VRAM과 디스크 n-gram을 사용하며, Context 길이와 Prefill Prompt length 측면에서 성능 향상을 입증했습니다.
10월 6일0
RedditAI 번역요약
ItoTTS: 4.89MB 용량으로 ESP32-S3에서 작동하는 자연스러운 영어 음성 엔진
Lokutor 팀은 ESP32-S3 같은 저전력 칩에서 작동하는 자연스러운 영어 음성 스트리밍 TTS 엔진인 ItoTTS를 공개했습니다. 이 모델은 가중치 크기가 4.89MB에 불과하며, 기존 대비 우수한 성능을 보여 로컬 LLM에 저비용으로 목소리를 부여하는 것을 목표로 합니다.
10월 5일1
RedditAI 번역요약
예산으로 LLM 구동하기 파트 2: P102-100에서 CMP 50HX로
본 글은 LLM 구동을 위한 GPU 업그레이드 경험을 공유합니다. P102-100 네 개를 CMP 50HX 네 개로 교체하면서 비용 효율성을 높였으며, 총 360달러로 로컬 모델 구동 환경을 구축했습니다. 이 카드는 낮은 전력 소비(8W)와 합리적인 가격이 큰 장점입니다.
9월 25일1
RedditAI 번역요약
1개의 RTX 5090에서 Qwen-3.8-Flash-Next 성능: TG=50 t/s, PP=2300 t/s - FreeToken 사용
RTX 5090 단일 GPU 환경에서 Qwen 3.8 Flash Next 모델의 성능을 테스트한 내용입니다. llama.cpp 사용 시 Expert Caching 부재가 문제로 지적되었으며, 'FreeToken'이라는 도구를 활용하여 성능 개선을 시도하고 있습니다.
9월 20일0