Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM 서비스의 배치 처리 시 에너지 소비량 할당은 공정성 문제가 있습니다. 본 글에서는 샤플리 값 기반의 StepSplit을 제안하여, 공유 에너지와 요청별 고유 에너지를 분리해 정확한 기여도를 측정합니다. 이 방법은 정적 및 연속 배치 환경 모두에서 낮은 오차율로 자원 배분을 보정할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기LLM 서비스는 채팅 비서 및 코딩 에이전트와 같은 애플리케이션의 필수 인프라가 되었습니다. 서비스 제공업체들은 청구(billing) 목적을 위해 개별 요청에 자원 소비량을 할당해야 합니다. 이러한 자원 중 에너지(energy)는 각 요청 처리 비용을 평가하는 핵심 지표입니다. 그러나 서비스 엔진은 여러 요청들을 배치(batch)로 묶어 처리하며, GPU는 오직 총합적인 에너지 소비량만을 보고합니다. 제공업체들은 일반적으로 토큰 소비량에 비례하여 각 요청의 몫을 추정하지만, 이 방식은 상당히 불공정한 추정치를 산출할 수 있습니다. 샤플리 값(Shapley value)은 공정한 에너지 할당을 위한 원칙적인 해결책을 제공하지만, 이를 직접 계산하려면 N개의 요청에 대해 $2^N-1$번의 GPU 실행이 필요하여 대규모 배치에서는 비현실적입니다. 이 문제를 해결하기 위해 우리는 StepSplit을 제안합니다. 여러 세대의 GPU를 거치며 관찰한 결과, 모든 추론 단계(inference step), 즉 배치를 통한 순전파(forward pass)에 소비되는 에너지는 모델 가중치 읽기 등으로 인해 발생하는 공유 에너지(shared energy)와 요청별 고유 에너지(request-specific energy)로 구성됩니다. 우리는 닫힌 형태의 샤플리 값 공식을 도출했습니다: 각 요청은 자체 에너지에 더하여, 참여하는 모든 단계의 공유 에너지를 균등하게 할당받습니다. 2.5분에서 17.8분 사이의 마이크로벤치마크를 통해 모델 및 GPU 구성별로 이 단계 에너지의 두 부분을 모두 보정합니다. 정적 배치(static batching) 환경에서 StepSplit은 이 닫힌 형태 공식을 스케줄러 로그에 대해 단일 패스로 사용합니다. 연속 배치(continuous batching) 환경에서는 요청을 제거하는 것이 남아 있는 요청들의 배치를 변경시킬 수 있으므로, StepSplit은 CPU에서 스케줄러를 재실행하여 계산된 보정치(correction)를 닫힌 형태 공식에 추가합니다. 우리는 529,513회의 GPU 실행을 사용하여 측정된 샤플리 값과 비교하며 StepSplit을 평가했습니다. 배치 크기가 8256인 정적 배치 환경에서 StepSplit은 $L_1$ 오차율이 0.44.3%를 달성했으며, 이는 토큰 비례 할당의 13.461.3%와 비교됩니다. 요청 수가 8128인 연속 배치 환경에서는 해당 오차율이 각각 0.56.4%, 20.671.7%입니다.