자율주행 차량을 위한 이기종 엣지 GPU에서의 Vision Transformer 물리 AI 배포

요약

본 논문은 자율주행 차량과 같은 Physical AI 시스템을 위해 이기종 엣지 GPU 환경에서 Vision Transformer 모델의 효율적인 배포 방법을 제시합니다. 'Heterogeneous Frame Dispatch Scheduling (H-FraDS)' 방법론을 통해 GPU와 DLA 코어 전반에 걸쳐 프레임을 라우팅하여 활용도를 개선했습니다. 이를 통해 낮은 전력 및 지연 시간 제약 조건 하에서도 높은 처리량과 실시간 작동이 가능함을 입증했습니다.

핵심 포인트

• H-FraDS는 이기종 엣지 GPU에서 트랜스포머 추론을 위한 스케줄링 방법론입니다.
• GPU와 DLA 코어 전반에 걸쳐 프레임을 라우팅하여 활용도를 극대화합니다.
• 모델 조정(텐서 재구조화, 근사 오차 함수 대체 등)을 통해 DLA 실행 환경에 최적화했습니다.
• Swin Transformer 사용 시 30 FPS 실시간 작동을 만족하며 높은 속도 향상을 달성했습니다.