Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 LLM 디코딩 과정에서 토큰당 에너지를 계산하는 '토큰-에너지 법칙(Token-Energy Law)'을 제안합니다. 이 법칙은 활성 바이트와 실현 디코드 시간이라는 두 가지 핵심 차원을 연결하여, 모델 아키텍처 및 하드웨어 설정에 따른 에너지 소비를 해석적으로 설명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(LLM)을 에너지 효율적으로 배포하려면 모델 아키텍처, 하드웨어 및 서비스 설정을 통해 생성된 토큰당 에너지가 어떻게 형성되는지 이해해야 합니다. 우리는 밀집형(dense), 전체 히스토리 디코딩에 대한 출력 토큰당 GPU 보드 에너지의 간결하고 해석 가능한 모델인 '토큰-에너지 법칙(Token-Energy Law)'을 소개합니다. 이 법칙은 토큰 에너지를 두 가지 핵심 차원, 즉 활성 바이트(active bytes)와 실현 디코드 시간(realized decode time)과 연결합니다. 활성 바이트는 출력당 논리적 바이트 수요를 설명하며, 디코드 반복 내에서 공유되는 밀집 가중치(dense weights)와 각 요청에 대해 읽고 업데이트되는 사설 키-값(KV) 히스토리를 분리합니다. 실현 디코드 시간은 경과된 디코드 지속 시간을 생성된 출력 토큰 수로 나눈 값입니다. 우리는 이 두 바이트 좌표와 시간을 공통 아핀 형태(affine form)로 결합하며, 계수는 각 모델 및 하드웨어/런타임 구성에 맞춰 보정되었습니다. 이 공식화는 배치 처리(batching)가 공유 가중치 작업을 어떻게 상각하는지, 더 긴 어텐션 히스토리가 사설 KV 수요를 어떻게 증가시키는지, 그리고 처리량(throughput)이 출력당 시간 관련 비용을 어떻게 결정하는지를 설명합니다. 우리의 실험은 NVIDIA Hopper 및 Blackwell GPU에서 BF16 디코딩을 사용하는 세 가지 모델을 다루며, 여기에는 Hopper에서의 2-GPU 텐서 병렬화도 포함됩니다. 고정된 계수와 관찰된 디코드 시간을 사용하여, 제외 조건(held-out condition)의 평균 에너지 추정치는 측정값과 최대 3.73%의 차이를 보였습니다.