NPU가 LLMs를 처리할 준비가 되었는가? 모바일 LLM 추론의 숨겨진 효율성 병목 현상 분석

요약

본 연구는 모바일 장치에서의 LLM 추론 효율성을 분석하며, 기존의 측정 방식을 넘어 백엔드별 에너지 기여도를 제공하는 PowerBench를 개발했습니다. 분석 결과, NPU가 컴퓨팅 바운드 프리필링에는 강점을 보이지만, 메모리 바운드 디코딩에서는 CPU가 더 우수하다는 점을 발견했습니다. 또한, 최적화되지 않은 스케줄링으로 인한 에너지 낭비 가능성도 제시하며 개선 방안을 제안합니다.

핵심 포인트

• NPU 성능 격차는 프레임워크에 따라 최대 10배까지 증폭될 수 있습니다.
• 디코딩 단계에서는 NPU보다 CPU가 더 효율적일 수 있습니다 (메모리 바운드).
• 최적화되지 않은 스케줄링으로 인해 최대 40%의 에너지 낭비가 발생할 수 있습니다.
• 에너지 지향적인 최적 구성을 통해 NPU 백엔드의 전력 소비를 최대 54.8%까지 줄일 수 있습니다.