μ-ORCA: ACAP 상에서 마이크로초 단위의 심층 신경망 (DNN) 추론 가속 최적화

요약

μ-ORCA는 AMD ACAP 플랫폼에서 마이크로초 단위의 초저지연 DNN 추론을 달성하기 위해 설계된 맞춤형 이기종 가속기 프레임워크입니다. 기존 프레임워크가 해결하지 못한 온칩 통신 비효율성과 계층 간 지연 시간을 해결하기 위해 AIE 어레이 상의 직접적인 계층 간 통신과 512-bit/cycle 캐스케이드 연결을 도입했습니다. 실험 결과, DeepSets 모델에서 0.93μs의 지연 시간을 기록하며 기존 프레임워크 대비 탁월한 성능 향상을 입증했습니다.

핵심 포인트

• AMD ACAP 플랫폼을 위한 초저지연(Microsecond-level) DNN 추론 최적화 프레임워크 제안
• 공유 메모리나 FPGA 패브릭 대신 AIE 어레이 내 직접적인 계층 간 통신 및 512-bit/cycle 캐스케이드 연결 활용
• 하드웨어 오버헤드를 고려한 성능 모델을 통해 엔드 투 엔드 지연 시간 최적화 및 설계 공간 탐색 수행
• DeepSets 모델 기준 0.93μs의 지연 시간을 달성하여 고에너지 물리학 등 초저지연 요구 애플리케이션에 적합
• MLP 및 DeepSets 모델의 비-MM(Non-MM) 커널 지원 및 오픈 소스 공개