HeteroMosaic: 에너지 효율적인 엣지 LLM 추론을 위한 이종 실행 기회 노출 및 활용

원문 발행 2026. 07. 14. 23:56원문 언어 영어AI 한국어 번역arXiv cs.AR 원문 보기

요약

본 논문은 엣지 LLM 추론을 위해 iGPU와 NPU 같은 이종 자원을 효과적으로 활용하는 스케줄링 프레임워크인 HeteroMosaic를 제안합니다. HeteroMosaic는 이종 루프라인 모델과 마이크로 배치 분해를 통해 크로스-가속기 오버랩을 노출하고, 메모리 경합 등 실제 효과를 고려하여 공동 최적화를 수행합니다.

핵심 포인트

HeteroMosaic는 엣지 LLM 추론의 이종 자원 활용도를 높이는 프레임워크입니다.
이종 루프라인 모델과 마이크로 배치를 통해 크로스-가속기 오버랩을 노출합니다.
균형형 플랫폼에서 최대 2.05배의 속도 향상 및 에너지 소비 감소를 달성했습니다.

현대 엣지 시스템 온 칩(SoC)은 CPU, 통합 GPU(iGPU), 신경망 처리 장치(NPU)를 결합하고 있지만, 기존의 LLM 런타임은 일반적으로 거친 디바이스 레벨 결정만 하거나 연산자(operator)를 개별적으로 최적화합니다. 그 결과, 특히 성능이 디바이스 배치와 태스크 그래프 조정 모두에 의존하는 통합 메모리 플랫폼에서는 이종 자원을 충분히 활용하지 못합니다. 본 논문은 엣지 LLM 추론을 위한 이질성 우선 스케줄링 프레임워크인 HeteroMosaic를 제시합니다. HeteroMosaic는 먼저 이종 루프라인 모델(heterogeneous roofline model)을 사용하여 iGPU와 NPU 실행을 결합하는 것이 유익한 경우를 식별합니다. 그런 다음 추론을 종속성을 보존하는 마이크로 배치(micro-batches)로 분해하여 크로스-가속기 오버랩(cross-accelerator overlap)을 노출하고, 메모리 경합(memory contention), DVFS, 디바이스 변동성(device variation), NPU 런타임 오버헤드와 같은 실제 효과를 고려하여 스케줄링 및 디바이스 할당의 트레이스 기반 공동 최적화(trace-guided co-optimization)를 적용합니다. 우리는 PyTorch C++로 HeteroMosaic를 구현하고, NPU 중심형, 균형형, iGPU 중심형 설계를 아우르는 세 가지 AMD Ryzen AI 플랫폼에서 평가했습니다. 균형형 플랫폼에서 HeteroMosaic는 iGPU 기준 대비 최대 1.73배의 속도 향상, NPU 기준 대비 1.78배, 그리고 llama.cpp와 같은 프레임워크 대비 2.05배를 달성하는 동시에 에너지 소비를 최대 45.3%까지 줄였습니다. 또한 이전 이종 엣지 AI 솔루션보다 최대 2.35배의 성능 향상을 보여주었습니다.

AI 자동 생성 콘텐츠

원문 바로가기

HeteroMosaic: 에너지 효율적인 엣지 LLM 추론을 위한 이종 실행 기회 노출 및 활용

요약

핵심 포인트

댓글