방금 다음 논문을 다 읽었습니다: LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load (에지에서의 LLM 추론: 지속적인 부하 하에서의 모바일, NPU 및 GPU 성능 효율성 트레이드오프). 저는 에지 디바이스, 특히 스마트폰에서 LLM을 벤치마킹하기 시작했습니다. 그래서 지금까지 무엇이 수행되었고 현재 무엇이 수행되고 있는지에 대해 많이 읽고 있으며, 이러한 논문들을 읽어온 과정과 제 견해를 공유하고자 합니다. 이 논문은 RPi5-Hailo (Hailo의 10H), iPhone 16 Pro (A19 Pro), S24 Ultra (플래그십 중 하나인 Snapdragon 8 Gen 3), 그리고 4050 Laptop GPU를 벤치마킹한 몇 안 되는 논문 중 하나입니다. 논문에서는 Qwen-2.5-1.5B 4bit 모델을 선택했으며, 2048 토큰의 단일 사용자-단일 프롬프트로 20라운드의 테스트를 수행했습니다. 생성될 최대 토큰 수에 제한이 없었다는 점이 한 가지 한계점이었습니다. 또한, 각 하드웨어에 대해 MLC LLM, vLLM, hailo-ollama, MLX와 같이 서로 다른 추론 엔진 (Inference Engine)을 사용했다는 점도 한계 중 하나입니다. 이제 결과입니다: RPi5-Hailo는 스로틀링 (Throttling) 없이 열 관리, 전력 및 처리량 (Throughput) 측면에서 가장 일관되고 안정적인 성능 (변동 계수(CV) 0.04%)을 보여주었습니다. 하지만 564개 토큰에 대해 약 72초의 지연 시간 (Latency)이 발생하여 채팅 용도로는 상당히 느립니다. 언급된 이유 중 하나는 Hailo Hat이 PCIe Gen3 x4 커넥터를 제공함에도 불구하고, RPi5가 1x Gen 2 커넥터를 가지고 있기 때문 (400 MB/s vs 1GB/s)이었으나, 더 가능성 있는 이유는 hailo-ollama가 그들의 데이터플로우 파이프라인 (Dataflow Pipeline)을 사용하여 CPU-NPU 통신을 조율하는 방식입니다. 또한, 모든 레이어 (Layer)가 NPU에서 실행되는 것이 아니라 자동으로 CPU에서도 실행됩니다. iPhone은 스마트폰 카테고리에서 최고의 tok/sec (Prefill + Decode)와 디코드 시간 (Decode Time)을 기록했지만, 주로 열 활동으로 인해 초기 및 마지막 몇 번의 반복 (Iteration)에서 불안정성 (약 42 tok/sec에서 단지 23-24 tok/sec로 감소)을 보였습니다. S24 Ultra의 경우, 조금 흥미로운 이야기입니다.

따라서 이 기기에는 모바일에서의 GPU 연산 능력으로 유명하지만 상당히 불안정하기도 한 MLC-LLM이 사용되었습니다. 이 스마트폰의 경우, 전체 프롬프트가 사용된 리소스의 급격한 스파이크(spike)를 유발했기 때문에 저자들은 청크(chunk, 128)를 다시 채워야 했습니다 -> 이로 인해 DVFS(동적 전압 및 주파수 스케일링)가 작동했습니다 -> 온도가 상승했고 리소스 할당기(resource allocator)는 아마도 GPU 주파수를 최소치로 고정해야 했을 것이며, 이로 인해 주파수 하한선(frequency floor)이 발생했습니다. 따라서 청크형 프리필(chunked prefill)을 사용했을 때, 646 토큰에 대한 디코딩 시간은 56초였으며 10.8 tok/sec의 유사한 처리량(CV 4.2%)을 보였지만, GPU와 CPU의 평균 온도는 64 +/- 1.9 °C로 상당히 안정되었습니다. 노트북의 경우, 평균 시스템 전력은 34 W로 TGP(Total Graphics Power)를 크게 초과했지만, 여전히 현재까지는 가장 성능이 좋습니다. 몇 가지 한계점이 있습니다. 언급된 두 가지 중, 제 생각에는 그들이 주로 네 기기를 비교하기 위해 CV(변동 계수)를 사용했어야 하며, 기기 내부에서 비교하는 방식은 피했어야 한다고 봅니다. 수집된 전력 지표는 각 컴포넌트별이 아니라 전체 사용 와트(Watts)를 비교하는 것처럼 변동성이 있습니다. 주파수 연구, DVFS 분석이 없었으며, 다른 앱이나 작업이 백그라운드에서 실행되는 상황도 고려되지 않았습니다. /u/East-Muffin-6472가 r/LocalLLaMA에 제출함 [link] [comments]