EnerInfer: 에너지 인지형 온디바이스 LLM 추론

온디바이스 LLM (Large Language Model) 추론은 개인정보 보호, 신뢰성, 비용 효율적인 배포를 위해 점점 더 매력적인 기술이 되고 있지만, 에너지 및 열 비용은 여전히 중요한 병목 현상으로 남아 있습니다. 기존 시스템은 주로 디코딩 속도 (decoding speed)를 최적화하며, 더 빠른 실행이 항상 바람직하다는 것을 암묵적으로 가정합니다. 우리는 대신 온디바이스 LLM 추론에 활용 가능한 구성 여유 (configuration slack)가 있음을 보여줍니다. NPU 및 메모리 주파수를 적절히 낮추면 사용자 경험 품질 (QoE, Quality of Experience)을 유지하면서도 에너지 효율을 실질적으로 개선하고 열을 줄일 수 있습니다. 이러한 기회를 실제 프로덕션에서 실현하는 것은 어렵습니다. 가장 에너지 효율적인 NPU/DDR 설정은 모델, 추론 엔진, 플랫폼 및 런타임 조건에 따라 달라지며, 구성 간에 안정적인 순위가 존재하지 않습니다. 상용 기기는 부품 수준의 전력 감지 기능이 부족하며, 쉘 온도 (shell temperature)는 요청 도착, 응답 길이 및 열 이력에 따라 변화합니다. 이러한 과제를 해결하기 위해, 우리는 LLM 워크로드에 대해 에너지 효율, 처리량 (throughput), 그리고 열적 쾌적함 (thermal comfort)을 공동으로 관리하는 최초의 온디바이스 LLM 추론 프레임워크인 EnerInfer를 제안합니다. EnerInfer는 모델별 프로파일링 (profiling) 및 센서 중심의 제어를 분리된 모델 구조 인지형 예측 (model-structure-aware prediction) 및 순위 기반 온라인 피드백으로 대체합니다. 이는 NPU/DDR 주파수 설정에 따라 보지 못한 LLM에 대한 처리량과 전력을 예측하고, 런타임 간섭 하에서 QoE를 만족하는 효율적인 구성을 선택하며, 경량화된 제한된 범위 열 예측 (limited-horizon thermal prediction)을 사용하여 에너지 최적화 추론과 열 제약 추론 사이를 동적으로 전환합니다. 실제 LLM에 대한 평가 결과, EnerInfer는 QoE 위반 없이 스마트폰, 노트북, 개발 보드에서 각각 최대 65%, 12%, 24%의 에너지 효율을 개선함을 보여주었습니다.