수년 동안 인공지능 (AI)의 전기적 발자국에 관한 논의는 거대 모델의 학습 (Training)을 중심으로 이루어졌습니다. 미시간 대학교 (University of Michigan) 연구팀은 데이터를 통해 그 초점을 옮겼습니다. 바로 AI의 에너지 소비는 추론 (Inference) 단계에 집중되어 있으며, 작업에 따라 엄청난 차이가 발생한다는 점입니다.

이 도구의 이름은 ML.ENERGY이며, 오픈 소스 (Open Source)로 제공됩니다. 이 도구는 GPU를 사용하여 각 모델이 응답할 때 얼마나 많은 전기를 사용하는지 측정하는 리더보드 (Leaderboard)를 공개합니다.

요약 (TL;DR)

• 미시간 대학교 연구진이 각 AI 모델의 전기 소비량을 측정하는 벤치마크 (Benchmark) 및 리더보드인 ML.ENERGY를 공개했습니다.
• 작업 유형(채팅, 코드, 이미지, 추론)에 따라 오픈 웨이트 (Open Weights) 모델의 소비량이 최대 300배까지 차이 납니다.
• 업계 에너지의 80-90%는 모델 학습이 아닌 추론 (Inference, 질의에 응답하는 과정)에 소비됩니다.
• 추론 모델은 질의당 10배에서 100배 더 많은 토큰 (Tokens)을 생성하는 사고 사슬 (Chain of Thought)을 만들어내며, 이로 인해 지출이 급증합니다.
• Zeus 도구는 GPU 하드웨어의 계측기에서 정기적인 간격으로 전력을 직접 읽어옵니다.
• 이 벤치마크는 40개의 아키텍처 (Architectures)와 6개의 작업을 다룹니다. 이는 NeurIPS D&B 2025의 스포트라이트 (Spotlight) 주제였습니다 (arXiv 2505.06371).
• 자동 권장 사항을 통해 모델이 계산하는 내용을 변경하지 않고도 40% 이상의 에너지 절감을 달성할 수 있습니다.

발생한 일

미시간 대학교 컴퓨터 과학 및 공학 (Computer Science and Engineering) 학부 그룹은 지금까지 거의 누구도 정확하게 답할 수 없었던 질문, 즉 "AI 모델이 응답할 때마다 실제로 얼마나 많은 전기를 소비하는가?"에 답하기 위해 오픈 소스 도구 모음을 선보였습니다. 이 프로젝트는 세 가지 요소로 구성됩니다: ML.ENERGY 벤치마크 (ML.ENERGY Benchmark) (측정 방법론), ML.ENERGY 리더보드 (ML.ENERGY Leaderboard) (모델을 비교하는 공개 표), 그리고 Zeus (전력 측정을 수행하는 라이브러리)입니다.

이 팀은 부교수 Mosharaf Chowdhury가 이끌고 있으며, 박사 과정 학생인 Jae-Won Chung이 논문의 제1 저자(first author)로 참여하였고 Jeff J. Ma, Ruofan Wu, Jiachen Liu, Zhiyu Wu 등이 공동 저자로 참여했습니다. 측정은 Ann Arbor에 위치한 2메가와트(MW) 규모의 시설인 Michigan Academic Computing Center에서 수행되었습니다. NeurIPS Datasets & Benchmarks 2025에서 스포트라이트(Spotlight)로 선정된 이 핵심 논문은 6가지 서로 다른 작업(task)에 걸쳐 40개의 모델 아키텍처(architecture)를 평가합니다.

이 프로젝트의 이면에 깔린 메시지는 단순하면서도 불편합니다. 대중적인 벤치마크(benchmark)들은 정확도, 속도 또는 품질을 측정하지만, 에너지는 무시한다는 점입니다. 이 수치가 없다면 개발자나 데이터 센터 운영자 모두 **AI의 에너지 소비(energy consumption)**에 대해 정보에 기반한 의사결정을 내릴 수 없습니다.

추론(Inference)이 AI 전력 소비의 대부분을 차지합니다.

배경 및 역사

공론화된 논의의 아이디어는 대규모 모델을 학습(training)시키는 것이 전기를 집어삼킨다는 것이었습니다. 학습 한 번에 수백만 킬로와트시(kWh)가 소모될 수 있다는 점은 사실이지만, 이는 단 한 번 발생하는 일입니다. 반면, 추론(inference)은 하루에 수십억 번 발생합니다. 모든 채팅 질의, 생성되는 모든 이미지, 모든 코드 자동 완성은 실시간으로 전력을 소비하는 GPU를 거칩니다.

그렇기 때문에 미시간 대학교 연구의 가장 많이 인용되는 데이터는 우선순위를 재정립합니다. 실제 운영 중인 AI 모델과 관련된 에너지의 **80%에서 90%**는 학습이 아닌 추론에서 소비됩니다. 산업계의 탄소 발자국(footprint)을 줄이고 싶다면, 단발성 이벤트인 학습이 아니라 일상적인 운영 단계에서 조치를 취해야 합니다.

역사적으로 이 수치를 얻는 것은 어려웠습니다. 상용 제공업체들이 쿼리당 소비량을 공개하지 않으며, 이를 정확하게 측정하려면 하드웨어 수준의 계측(instrumentation)이 필요하기 때문입니다. Zeus는 바로 이 지점을 공략합니다. 부동 소수점 연산량(FLOPs)을 기반으로 에너지를 추정하는 대신, 모델이 현실적인 서비스 조건 하에서 작동하는 동안 GPU 카운터로부터 정기적인 간격으로 전력을 직접 '읽어옵니다'.

• 300배의 차이 — 오픈 웨이트 (Open weights) 모델의 작업 간 에너지 차이는 최대 300배까지 벌어집니다. 이미지를 생성하거나 복잡한 문제를 해결하는 것은 에너지 측면에서 채팅 인사와는 전혀 다릅니다.
• 추론 (Inference) 단계에서 80-90% 차지 — 업계의 전력 소비는 학습 (Training)이 아닌 운영 (Operation) 단계에 집중되어 있습니다.
• 10~100배 더 많은 토큰 — 사고의 사슬 (Chain of Thought)을 생성하는 추론 모델은 표준 모델보다 질의당 10배에서 100배 더 많은 토큰을 생성하며, 에너지 비용도 그에 비례하여 증가합니다.
• 40개 아키텍처, 6개 작업 — 채팅, 이미지 및 비디오 생성, 문제 해결, 코드 작성을 아우르는 벤치마크 (Benchmark) 범위입니다.
• 40% 이상의 절감 — 자동 최적화 권장 사항 (배치 (Batch) 및 메모리 할당 조정)을 적용하면 모델이 계산하는 내용을 변경하지 않고도 소비 전력을 40% 이상 줄일 수 있습니다.

💡 팁: 자체 AI 서비스를 운영 중이라면, GPU를 추가로 구매하기 전에 배치 크기와 메모리 할당을 확인하세요. 그곳에 전기 요금의 40%가 숨어 있을 수 있습니다.

공개 리더보드 (Leaderboard)를 통해 작업 및 에너지별로 모델을 비교할 수 있습니다.

영향 및 분석

ML.ENERGY의 실질적인 가치는 단순한 학술적 호기심에 있지 않습니다. 모델을 배포하는 사람에게 질의당 줄 (Joules) 단위의 신뢰할 수 있는 수치를 제공함으로써, 지속 가능성을 지연 시간 (Latency) 및 비용과 함께 비교 가능한 엔지니어링 지표로 전환해 줍니다. 지금까지 "AI는 전기를 많이 쓴다"는 것은 정성적인 주장이었으나, 이제는 표의 한 열(column)로 들어가는 정량적인 데이터가 되었습니다.

추론 모델(reasoning models)에 관한 이러한 발견은 산업계의 상당 부분이 답변하기 전에 "생각"하는 모델을 밀어붙이고 있는 2026년에 특히 중요합니다. 이러한 능력은 어려운 작업에서 정확도를 향상시키지만, Michigan의 데이터는 사소한 질문에 확장된 추론(extended reasoning)을 활성화하는 것이 과연 가치가 있는지 자문하게 만듭니다. 인사를 하기 위해 사고 사슬(Chain of Thought, CoT) 모델을 사용하는 것은 에너지 측면에서 정량화 가능한 낭비입니다.

⚠️ 주의: 모든 질문에 대해 확장된 추론을 기본값으로 활성화하면 소비 전력이 10배 이상 증가할 수 있습니다. 정말로 필요한 작업에만 예약하여 사용하세요.

두 번째 기여는 방법론적인 것입니다. 추정하는 대신 하드웨어에서 직접 측정함으로써, ML.ENERGY는 효율성이 선택된 모델뿐만 아니라 모델이 서빙(serving)되는 방식에도 달려 있다는 점을 드러냅니다. 동일한 모델의 두 가지 배포(deployment)라 할지라도 배치(batching) 및 메모리 관리 방식에 따라 매우 다른 비용이 발생할 수 있습니다. 이는 책임의 일부(그리고 비용 절감의 기회)를 모델을 설계하는 사람뿐만 아니라 인프라 팀에게도 넘깁니다.

향후 계획

연구팀은 리더보드(leaderboard)를 최신 상태로 유지하고 있으며, 벤치마크는 기업이 자신의 배포 환경을 동일한 잣대로 측정할 수 있도록 맞춤형 모델 및 시나리오로 확장될 수 있도록 설계되었습니다. 연구 라인은 추론(inference) 과정에서 각각의 줄(joule)이 정확히 어디로 소비되는지 진단하는 데 중점을 둔 두 번째 작업으로 계속 이어집니다.

남겨진 질문은 대형 상용 제공업체들이 이와 유사하고 공개적인 지표를 채택할 것인가 하는 점입니다. 폐쇄형 서비스의 질문당 소비량이 계속 불투명한 상태로 남아 있는 한, Zeus와 같은 오픈 도구들은 규모에 따른 AI의 에너지 소비를 이해하고 줄이기 위한 가장 좋은 참조 자료가 될 것입니다.

📖 Telegram 요약: 요약 보기

자주 묻는 질문

ML.ENERGY란 정확히 무엇인가요?

ML.ENERGY는 AI 모델의 전력 소비량을 측정하는 미시간 대학교(University of Michigan)의 오픈 소스 (Open Source) 프로젝트입니다. 여기에는 벤치마크 (Benchmark, 방법론), 작업 및 에너지별로 모델을 비교하는 공개 리더보드 (Leaderboard), 그리고 측정을 위한 Zeus 라이브러리가 포함됩니다.

추정치가 아닌 실제 에너지를 어떻게 측정하나요?

Zeus는 모델이 실제 부하 (Load)를 실행하는 동안 정기적인 간격으로 GPU 하드웨어의 계측기에서 전력을 직접 읽어옵니다. 이를 통해 이론적인 FLOPs (Floating Point Operations)를 기반으로 계산하는 대신, 배치 (Batch), 메모리 (Memory), 그리고 생성된 토큰 (Tokens)의 효과를 포착합니다.

왜 추론 (Inference)이 학습 (Training)보다 더 많은 에너지를 소비하나요?

학습은 한 번 발생하지만, 추론은 하루에 수십억 번 반복되기 때문입니다. 이로 인해 업계 에너지의 80%에서 90%는 모델을 학습시키는 것이 아니라 질의에 응답하는 데 사용됩니다.

왜 추론 모델 (Reasoning Models)은 그렇게 많은 에너지를 사용하나요?

이 모델들은 사고의 사슬 (Chain of Thought)을 생성하기 때문입니다. 즉, 표준 모델보다 질의당 10배에서 100배 더 많은 토큰을 생성합니다. 각 토큰은 네트워크를 한 번 통과하는 과정을 수반하므로, 소비 전력도 그에 비례하여 증가합니다.

모델을 바꾸지 않고도 에너지를 절약할 수 있나요?

네, 가능합니다. 본 연구에 따르면, 모델이 계산하는 내용이나 응답의 품질을 변경하지 않고도 배치 크기 (Batch Size)와 서비스의 메모리 할당 (Memory Allocation)을 조정함으로써 40% 이상의 에너지를 절약할 수 있습니다.

결과는 어디에서 확인할 수 있나요?

ml.energy/leaderboard에 있는 공개 리더보드와 GitHub의 Zeus 리포지토리 (Repository)에서 확인할 수 있습니다. 전체 논문은 arXiv (2505.06371)에서 확인할 수 있습니다.

참고 문헌

• ML.ENERGY Leaderboard — 작업 및 에너지별로 모델을 비교하는 공개 테이블.
• The ML.ENERGY Benchmark (arXiv 2505.06371) — 논문, NeurIPS D&B 2025 Spotlight 선정.
• Zeus en GitHub — GPU 에너지 측정 및 최적화 라이브러리.
• TechXplore — 도구 및 주요 발견 사항에 대한 보도.
• University of Michigan News — 프로젝트 공식 발표.

📱 이 콘텐츠가 마음에 드시나요? 기술, AI, 개발 분야의 가장 중요한 소식을 매일 게시하는 저희 Telegram 채널 @programacion에 참여하세요. 빠른 요약과 매일 새로운 콘텐츠를 제공합니다.