Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
HeteroMosaic은 엣지 SoC의 CPU, iGPU, NPU를 효율적으로 활용하기 위한 이기종 우선 스케줄링 프레임워크입니다. 마이크로 배치 분해와 트레이스 가이드 공동 최적화를 통해 LLM 추론 속도를 높이고 에너지 소비를 크게 절감합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기현대의 엣지 시스템 온 칩 (SoCs)은 CPU, 통합 GPU (iGPU), 그리고 신경망 처리 장치 (NPUs)를 결합하고 있지만, 기존의 LLM 런타임은 일반적으로 거친 장치 수준의 결정을 내리거나 연산자 (operators)를 개별적으로 최적화합니다. 그 결과, 특히 성능이 장치 배치와 태스크 그래프 (task-graph) 조정 모두에 의존하는 통합 메모리 (unified-memory) 플랫폼에서 이기종 리소스를 충분히 활용하지 못하고 있습니다. 우리는 엣지 LLM 추론을 위한 이기종 우선 스케줄링 프레임워크인 HeteroMosaic을 제안합니다. HeteroMosaic은 먼저 이기종 루프라인 모델 (heterogeneous roofline model)을 사용하여 iGPU와 NPU 실행을 결합하는 것이 유익한 시점을 식별합니다. 그런 다음 추론을 의존성을 보존하는 마이크로 배치 (micro-batches)로 분해하여 교차 가속기 중첩 (cross-accelerator overlap)을 노출하며, 메모리 경합 (memory contention), DVFS, 장치 편차 (device variation), NPU 런타임 오버헤드와 같은 실제적인 영향 하에서 스케줄링과 장치 할당의 트레이스 가이드 공동 최적화 (trace-guided co-optimization)를 적용합니다. 우리는 PyTorch C++로 HeteroMosaic을 구현하였으며, NPU 중심, 균형 잡힌, 그리고 iGPU 중심 설계에 걸친 세 가지 AMD Ryzen AI 플랫폼에서 이를 평가했습니다. 균형 잡힌 플랫폼에서 HeteroMosaic은 iGPU 베이스라인 대비 최대 1.73배, NPU 베이스라인 대비 1.78배, 그리고 exttt{llama.cpp}와 같은 프레임워크 대비 2.05배의 속도 향상을 달성하는 동시에 에너지를 최대 45.3%까지 절감합니다. 또한 기존의 이기종 엣지 AI 솔루션보다 성능을 최대 2.35배 향상시킵니다.