Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 페이지의 콘텐츠는 AI가 공개된 소스를 기반으로 자동 수집·요약·번역한 것입니다. 원 저작권은 각 원저작자에게 있으며, 각 게시물의 “원문 바로가기” 링크를 통해 원문을 확인할 수 있습니다. 저작권자의 삭제 요청이 있을 경우 신속히 조치합니다.
DGX Spark 지원이 공식적으로 시작되어, 사용자들이 Mac 환경에서 DeepseekV4.1-Flash-1017 모델을 활용할 수 있게 되었습니다. 또한, Intel B-시리즈 카드와 Strix에 대한 추가적인 업데이트가 곧 제공될 예정이라고 공지했습니다.
GPT의 속도 저하를 경험하며, 사용자는 자신이 보유한 하드웨어와 DeepSeek v4.1 Flash 1017 같은 모델의 성능에 감사함을 느꼈습니다. 초당 수천 개의 토큰을 처리하는 고속 처리가 필수적임을 강조하며 로컬 환경 구축의 중요성을 역설합니다.
지난 24시간 동안의 랙 성능 지표를 공유하며 p95 성능 저하 문제를 언급했습니다. 이후 새로운 GPU 랙에서 DeepSeek 추론 설정을 테스트한 결과를 공개했습니다. 이 신규 랙은 현재까지 발견된 모든 공급업체 대비 우수한 가격 대비 성능을 보여주었습니다.
본 기사는 GPU 구매의 어려움과 시장 상황에 대한 언급으로 시작하며, 하드웨어 성능의 한계와 돌파구를 논하고 있습니다. 특히 3090 언락을 통해 전력 벽(power wall)을 극복한 사례를 제시하며, 특정 모델에서 측정된 높은 수준의 성능 향상 수치를 공유했습니다.
GLM-5.3-Flash 320B 모델을 이제 5천 달러 미만의 하드웨어로 가정에서 구동할 수 있게 되었습니다. 이전에는 약 1만 달러가 필요했던 것과 비교하여, 로컬 AI 환경 구축의 진입 장벽이 크게 낮아졌음을 시사합니다.
2개의 DGX Spark 확보는 로컬 AI 구동의 최종 목표로 제시됩니다. 이 시스템을 통해 Claude나 ChatGPT 같은 폐쇄형 모델에 의존하지 않고도 최첨단 지능을 구현할 수 있습니다. 실제로 Qwen 3.8 Flash, DeepSeek V4 Flash 등 여러 모델을 실행하며 높은 성능과 낮은 전력 소모량에 만족감을 표하고 있습니다.
과거 'Flash' 모델이 로컬 환경에서 구동 가능한 것을 의미했지만, 현재는 그렇지 않다는 점을 지적합니다. 320B 이상의 대형 모델(GLM-5.3 Flash, Ling-3.1-flash)은 고사양 GPU 환경에서도 실행하기 어렵다고 언급하며, Qwen의 소형화 전략(Qwen3.8-27B)을 높이 평가하고 있습니다.
RTX 3090과 CPU, DDR4 환경에서 Deepseek-v4.1-Flash 모델을 구동하는 모습을 공유하며, 해당 양자화(quant) 기술에 대한 감탄을 표현하고 있습니다.
DeepSeek이 중국 AI 생태계에 기여하며, 특히 Ascend 스택을 활용한 훈련 실행 가능성을 높였습니다. DeepSeek의 공개는 최전선 훈련을 재현할 수 있는 완전한 Ascend 스택에는 미치지 못하지만, 매우 근접한 수준에 도달했음을 보여줍니다.
MLX-Serve 26.10.1 버전이 출시되어 전반적인 속도 향상을 제공합니다. Qwen3.8 27B 모델은 M5 Ultra, M4 Max 등 다양한 Apple Silicon 환경에서 성능 개선을 보였으며, Gemma 4와 같은 여러 모델에 걸쳐 최적화가 이루어졌습니다.
2027년까지 출시될 AI 칩은 수천만에서 수억 개의 최첨단 모델(frontier-model) 에이전트를 구동할 수 있게 됩니다. 이는 약 140백만 명에서 720백만 명의 정규직 직원과 맞먹는 주간 근무 시간을 제공하는 규모입니다.
DeepSeek V5가 Astra를 능가하며 Nvidia 없이 Huawei Ascend 칩을 사용하여 훈련되었다는 유출 정보가 있습니다. 이는 AI 모델 개발에 있어 중국의 하드웨어 스택이 강력한 대안이 될 수 있음을 시사합니다.
DeepSeep v4.1 Flash를 4x DGX Sparks 환경에 적용한 테스트 결과를 공유합니다. Prose 디코드는 단일 스트림에서 87 tok/s, 4개 스트림에서는 163.6 tok/s의 속도를 보여주며, 코드 디코드는 4개 스트림에서 246.8 tok/s에 달하는 높은 성능을 기록했습니다.
Alibaba는 모델 학습 및 추론에 최적화된 새로운 AI 칩 Zhenwu V900을 공개하고, 2027년 상업 출시를 예고했습니다. 또한, 2032년까지 20GW 이상의 데이터센터 역량을 확보하고, 5T-10T 규모의 차세대 Qwen 모델 개발 및 에이전트 워크로드를 위한 CPU 라인업을 발표하며 대규모 AI 인프라 투자를 계획하고 있습니다.
M5 Ultra 환경에서 Qwen 3.8 Flash Next 모델의 최적화 작업을 진행하고 있으며, 현재 prefill 속도는 3.1k tok/s로 측정되었습니다.
Qwen 3.8 27B 모델을 M5 Max MacBook Pro 환경에서 subagent와 함께 에이전트 작업을 수행하는 성능을 다루고 있습니다. 로컬 AI 구동 속도가 크게 향상되어, 이전 대비 약 6배 빠른 처리 속도를 보여주었습니다.
MLX-Serve 26.9.3 버전이 출시되어 Mac에서 로컬 모델 구동에 최적화된 가장 빠른 엔진임을 강조합니다. 이 엔진은 LLM, 비디오, 이미지, 음성 클론, 음악 생성 등 다양한 미디어 유형의 모델을 지원하며, Qwen Flash Next가 M4/M5Max에서 높은 처리 속도를 보여주었습니다.
Apple Silicon 환경에서 주요 오픈 웨이트 모델 3가지가 로컬 구동 시 상당한 속도 향상을 보였습니다. Qwen3.6 35B는 처리량이 57% 증가했고, GLM-5.3 Flash는 스펙 디코딩 속도가 34% 빨라졌습니다. DeepSeek V4.1은 디코드 속도가 두 배로 빨라지고 RAM 사용량도 줄었습니다.