Qwen 35B는 평균 42W로 동작한다 — RTX 4070의 추론 중 소비 전력 프로파일 4가지 패턴 실측

RTX 4070을 사용하여 Qwen 35B 모델을 로컬에서 추론할 때의 단계별 GPU 소비 전력을 실측했습니다. 분석 결과, 실제 토큰 생성(decode) 단계의 평균 소비 전력은 42W로, 일반적인 인식보다 훨씬 낮음을 확인했습니다.

AMD Radeon GPU에서 AI 모델을 실행하기 위한 ROCm 버전별 가이드와 PyTorch 설치 방법을 설명합니다. RDNA4 아키텍처 대응 현황과 최신 ROCm 7.14 버전을 활용한 효율적인 환경 구축법을 다룹니다.

LIQID 블로그: AI 클러스터의 진정한 병목 현상은 '메모리 벽'입니다 (번역)

AI 클러스터의 성능 병목 현상이 GPU 성능이 아닌 메모리 공급 속도(Memory Wall)에 있음을 지적합니다. 메모리 부족 시 발생하는 NVMe 스토리지로의 데이터 퇴피와 레이턴시 문제를 해결하기 위해 메모리 풀링 기술의 필요성을 강조합니다.

줄 전쟁 (Joule Wars): AI의 다음 경쟁 축은 '1줄(Joule)당 유용한 지능'이다

AI 경쟁의 핵심이 모델의 성능에서 '에너지 효율(Joule당 지능)'로 이동하고 있음을 분석합니다. 전력망 한계와 에너지 제약이 AI, 반도체, 클라우드 산업의 새로운 경제적 결정 요인이 될 것이라고 주장합니다.

「GPU는 4분의 1, 하지만 학습은 끝나지 않는다」 NVIDIA가 선언한 포스트 트레이닝 중심의 AI 경제

NVIDIA는 AI 계산 수요의 중심이 사전 학습에서 지속적인 포스트 트레이닝으로 이동하고 있다고 선언했습니다. 차세대 Vera Rubin 플랫폼은 Blackwell 대비 GPU 효율을 4배 높이면서도, 에이전틱 워크로드의 무한 루프를 통해 전체 계산 수요를 더욱 확대할 전망입니다.

Nvidia의 독주에 도전하는 두 신흥 AI 칩 기업, Etched와 Tenstorrent의 서로 다른 전략을 비교합니다. Etched는 추론 전용 ASIC을, Tenstorrent는 범용 RISC-V 기반 설계를 지향하며 차별화된 접근 방식을 보여줍니다.

OpenAI×Broadcom의 추론 전용 칩 「Jalapeño」와 Gemini 3.5 Flash GA: 추론 비용과 락인(Lock-in)

OpenAI와 Broadcom이 LLM 추론 전용 가속기 'Jalapeño'를 발표하고, Google의 Gemini 3.5 Flash가 GA되었습니다. 이는 AI 경쟁의 축이 모델 지능을 넘어 추론 비용과 전용 하드웨어 최적화로 이동하고 있음을 시사합니다.

AI 데이터 센터의 '원폭 23발/일의 열'이란 무엇인가: 16GW 추산치를 검산하고, 폐열의 행방(국소 승온·물 vs CO2)을 나누어

미국 유타주에 계획된 거대 AI 데이터 센터가 방출할 막대한 열에너지를 분석합니다. 원폭 23발분에 비유되는 16GW 규모의 열 추산치를 검증하고, 폐열이 환경에 미치는 영향을 다룹니다.

Tenstorrent의 오픈 소스 저수준 AI 하드웨어 SDK인 TT-Metalium을 사용하여 개발 환경을 구축하는 방법을 설명합니다. Docker를 활용해 의존성을 관리하고, 커스텀 커널 개발 및 범용 계산기로서의 활용을 위한 최적화 설정을 다룹니다.

Copilot+ PC의 핵심 사양인 NPU와 40 TOPS의 개념을 정리합니다. NPU는 저전력 AI 추론에 특화된 프로세서이며, 40 TOPS는 초당 40조 번의 연산 능력을 의미하는 Copilot+ PC의 최소 요구 조건입니다.

실제 비교를 해보니 - Apple의 새로운 'Core AI' 실기 벤치마크

WWDC 2026에서 발표된 Core AI(Core ML의 후속)를 활용하여 iPhone 17 Pro 기기에서 LLM을 구동한 실측 비교 결과를 공유합니다. 이 글은 Core AI와 기존 CoreML 기반 구현을 동일 모델 및 하드웨어 환경에서 비교하며, 용도에 따라 최적의 런타임이 다름을 강조합니다.

iPhone에서 20B 모델이 구동되는 시대! WWDC26에서 발표된 Core AI와 Foundation Models 총정리!

WWDC26에서 Apple은 온디바이스 AI를 위한 새로운 Core AI 프레임워크와 3세대 Apple Foundation Models(AFM)를 발표했습니다. 특히 스파스 아키텍처를 통해 iPhone에서 20B 규모의 모델을 효율적으로 구동하는 기술적 혁신을 선보였습니다.

TPU와 Trainium 같은 시스톨릭 어레이 기반 가속기가 NVIDIA GPU에 비해 낮은 비용과 높은 효율에도 불구하고 널리 쓰이지 못하는 기술적 이유를 분석합니다. 핵심 원인은 정적 셰이프(Static Shape) 제약으로 인한 컴파일 비용과 동적 데이터 처리의 어려움에 있습니다.

RTX 4070로 로컬 LLM 전기 요금을 24시간 동안 측정한 결과와 Claude Code Max의 실제 비용 비교

RTX 4070 기반 로컬 LLM 환경과 Claude Code Max의 운영 비용을 전력 소비 관점에서 비교 분석했습니다. 24시간 가동 시 시스템 전체 전력 소모를 실측하여 지역별 전기 요금을 산출한 결과, 로컬 환경의 비용이 Claude Code Max보다 현저히 낮음을 확인했습니다.