AMD 256코어 젠6 베니스, 엔비디아 베라의 3.3배 성능 주장

AMD가 차세대 Zen 6 아키텍처 기반의 256코어 'Venice' CPU 성능을 공개하며 엔비디아 Vera 대비 랙 단위 성능이 3.3배 높다고 주장했습니다. 다만 이번 결과는 직접 측정이 아닌 모델링을 통한 추정치임을 명시했습니다.

전봇대 위 쓰레기통? 깡통? 정체 | AI 시대, 변압기가 주목받는 이유

전봇대 위 주상 변압기의 역할과 전력 전송 원리를 설명합니다. 전압을 높여 전류를 줄임으로써 전선 저항에 의한 전력 손실을 최소화하는 물리적 이유를 다룹니다.

RTX Pro 4500 Blackwell 성능 수치

RTX Pro 4500 Blackwell 32GB GPU의 성능을 기존 RTX 5060 Ti 16GB와 비교 분석한 글입니다. VRAM 용량 증가가 대규모 모델 구동 시 프롬프트 처리 및 토큰 생성 속도에 미치는 압도적인 성능 향상을 수치로 보여줍니다.

LLM 서버 구축 완료: EPYC 9575F, RTX 3090 4개 (96GB VRAM), 768GB ECC RAM

AMD EPYC 9575F와 4개의 RTX 3090을 탑재한 고성능 LLM 추론 서버 구축 사례를 소개합니다. vLLM과 llama.cpp를 활용하여 게임 개발을 위한 AI NPC 시스템을 운영할 계획입니다.

Strix Halo에서의 Gemma 4 QAT Q4_0 벤치마크

AMD Strix Halo APU 환경에서 Google Gemma 4 QAT(양자화 인식 학습) 모델의 로컬 추론 성능을 벤치마크한 결과입니다. llama.cpp의 Vulkan/RADV 백엔드를 사용하여 다양한 크기의 Gemma 4 GGUF 모델을 테스트했습니다.

Debian Testing에서 AMD MI50이 매우 잘 작동하며 점점 더 좋아지고 있습니다.

Debian Testing 환경에서 AMD MI50 GPU를 사용하여 llama.cpp의 성능을 벤치마크한 결과입니다. ROCm과 Vulkan 백엔드 간의 성능 차이를 분석하며, 특히 MTP(Multi-Token Prediction) 적용 시 토큰 생성 속도가 크게 향상됨을 확인했습니다.

HDMI 말고 DisplayPort 쓰는 이유… DP 케이블 고를 때 진짜 봐야 할 것

HDMI와 DisplayPort(DP)의 태생적 차이와 PC 환경에서의 활용 차이를 설명합니다. DP는 고주사율, 고해상도, 가변 주사율 등 PC 및 게이밍 환경에 최적화된 규격임을 강조합니다.

RTX 5090에서의 DFlash Speculative Decoding + KV Cache Compression 벤치마크 — 3.26배 속도

NVIDIA RTX 5090 환경에서 Qwen3.6-27B 모델을 대상으로 DFlash Speculative Decoding과 KV Cache Compression을 결합한 벤치마크 결과입니다. q4_0/turbo4 전략 사용 시 성능 저하를 최소화하면서 최대 3.26배의 속도 향상을 달성했습니다.

GPU를 하나 더 추가했더니 거의 선형적인 성능 향상이 나타나는 것이 이상합니다

NVLink 없이 2개의 RTX 3090을 사용했을 때 Qwen 2.5 모델의 추론 성능이 거의 선형적으로 향상되는 현상을 보고했습니다. P2P가 자동으로 활성화되어 텐서 병렬성(TP=2) 환경에서 높은 효율을 보였습니다.

Apple의 새로운 MLX LM Server

Apple의 MLX LM Server는 M5 칩의 신경 가속기를 활용해 프롬프트 처리 속도를 높인 새로운 ML 서버입니다. 연속 배칭을 통한 동시성 확보와 Thunderbolt RDMA를 이용한 분산 추론 기능을 지원합니다.

Blackwell 16GB LLM 스타터 키트 - RTX 5070 Ti / 5080 (NVIDIA 16GB GPU)를 위한 벤치마크 및 설정

RTX 5070 Ti 및 5080(16GB VRAM) 환경에서 멀티모달 추론을 실행하기 위한 설정과 벤치마크 정보를 공유합니다. 사용자가 자신의 GPU 사양으로 모델 실행 가능 여부를 판단하는 데 도움을 주기 위한 가이드입니다.

Hermes Agent 벤치마킹을 위한 Jetson Orin NX 빌드

Jetson Orin NX를 활용하여 Hermes Agent 벤치마킹을 위한 소형 서버를 구축한 사례입니다. Gemma 4 26B 모델과 MTP(Multi-Token Prediction) 기술을 적용하여 긴 컨텍스트 환경에서의 성능과 속도를 최적화했습니다.

Apple, Apple Silicon을 위한 새로운 온디바이스 추론 엔진 발표

Apple이 CoreML의 차세대 대체제인 CoreAI를 발표했습니다. 이는 Apple Silicon에 최적화된 온디바이스 추론 엔진으로, 기존 CoreML의 한계를 넘어 대규모 파라미터 모델과 확장된 연산 지원을 목표로 합니다.

TileFuse: AMD NPU에서의 효율적인 양자화된 LLM 추론을 위한 융합 혼합 정밀도 커널 라이브러리

AMD XDNA2 NPU에서 AWQ와 같은 양자화된 LLM을 효율적으로 추론하기 위한 커널 라이브러리 TileFuse를 제안합니다. 혼합 정밀도 커널과 데이터플로우 설계를 통해 성능과 에너지 효율을 획기적으로 개선했습니다.

Furiosa AI의 소비자 시장 추론 칩 판매는 로컬 LLM의 게임 체인저가 될 것

한국 스타트업 Furiosa AI의 추론 전용 칩 RNGD가 로컬 LLM 시장의 게임 체인저가 될 가능성을 분석합니다. 높은 메모리 대역폭과 VRAM을 갖춘 이 칩이 llama.cpp 등 오픈소스 생태계와 협력한다면 강력한 경쟁력을 가질 것으로 전망합니다.

Chiplet GPU의 페이지 단위 배치와 호환되는 지역성 인식 GEMM 구현

멀티 칩렛 GPU의 비균일 메모리 환경에서 데이터 지역성을 최적화하기 위한 Chiplet-Contiguous Layout을 제안합니다. 이 방식은 OS나 하드웨어 변경 없이 페이지 단위 배치와 호환되며, LLM 연산 시 원격 HBM 트래픽을 획기적으로 감소시킵니다.

Applied Materials, AI 칩 수요 지원을 위해 싱가포르 제조 시설 확장

Applied Materials가 AI 칩 수요에 대응하기 위해 싱가포르 Tampines 캠퍼스를 확장했습니다. 이번 시설 확장을 통해 클린룸 용량을 두 배 이상 늘리고 글로벌 제조 및 R&D 역량을 강화합니다.

이것은 미친 일

SpaceX가 인터넷이나 GPS 없이 오직 궤도상의 컴퓨팅 능력만을 활용하는 'AI1' 위성을 발표했습니다. 지구 데이터 센터의 에너지 및 자원 한계를 극복하기 위해 우주를 AI 인프라 구축지로 삼는 것이 핵심입니다. 이 시스템은 태양광, 방열기, 레이저 링크만으로 구현 가능하며, SpaceX가 우주 공간의 AI 전력망을 목표로 하고 있음을 시사합니다.

Jetson Orin Nano Super에서의 Bonsai LM (1-bit 및 1.58-bit LLM) 벤치마킹

Jetson Orin Nano Super에서 1-bit 및 1.58-bit Bonsai LM 모델의 성능을 벤치마킹한 결과입니다. 다양한 전력 모드에서 토큰 생성 속도, 에너지 효율성(tok/J), 지연 시간 및 발열 상태를 심층 분석했습니다.

Copilot+ PC의 「NPU 40 TOPS」란 무엇인지 대략적으로 정리해 보았다