DPU 나 GPU 를 활용한 신경망 추론 가속화: 왜 둘 다 사용해야 할까? Split CNN Inference

요약

본 논문은 에지 디바이스에서 낮은 지연 시간이 요구되는 신경망 추론 가속화를 위해 DPU와 GPU를 결합하여 CNN을 분할 처리하는 'Split CNN Inference' 방법을 제안합니다. 이 방법은 데이터 소스 근처의 DPU가 초기 레이어를 처리하고, 파이프라인 방식으로 비동기적으로 GPU가 나머지 레이어를 처리함으로써 전체 시스템 지연 시간을 크게 줄입니다. 또한, 모델 구조를 자동으로 최적 분할하기 위해 GNN 기반의 분할 지수 예측 방법을 제시하여 높은 정확도와 성능 향상을 입증했습니다.

핵심 포인트

• DPU와 GPU를 결합한 'Split CNN Inference' 아키텍처 제안: 에지 디바이스에서 낮은 지연 시간 달성 목표.
• 데이터 소스 근처의 DPU가 초기 레이어를 처리하고, GPU가 나머지 레이어를 비동기적으로 처리하는 파이프라인 방식 채택.
• 전통적인 단일 가속기(GPU 또는 DPU) 사용 대비 최대 2.48배 ~ 3.37배의 지연 시간 개선 효과 입증.
• CNN 모델을 최적 분할하기 위해 GNN 기반의 자동화된 '분할 지수 예측' 방법론 제시 (96.27% 정확도).