자율주행 차량 및 지능형 기계와 같은 Physical AI 시스템은 엄격한 엣지 지연 시간(latency) 및 에너지 제약 조건을 만족하는 트랜스포머 기반 인식 모델을 필요로 합니다. 하지만 이기종 엣지-GPU 배포는 활용도가 낮은 하드웨어 엔진과 가속기에 비호환적인 연산자(operator)로 인해 제한적이며, 이는 파편화된 실행과 와트당 낮은 처리량(throughput per watt)을 야기합니다. 본 논문에서는 최근 NVIDIA 엣지 GPU에서 트랜스포머 추론을 위한 하드웨어 인식 프레임 스케줄링 방법론인 Heterogeneous Frame Dispatch Scheduling (H-FraDS)를 제시합니다. H-FraDS는 고정된 디스패치 비율(fixed dispatch ratios)을 사용하여 GPU와 이중 딥러닝 가속기(DLA) 코어 전반에 걸쳐 프레임을 라우팅하여 지연 시간 및 전력 제약 조건 하에서 활용도를 개선합니다. 스케줄링을 가능하게 하기 위해, 호환되지 않는 트랜스포머 구성 요소들은 텐서 재구조화(reshaping tensors), 근사 오차 함수(ERF)를 tanh로 근사, 레이어 정규화(layer normalization)를 경계가 있는 tanh(bounded tanh)로 대체하여 DLA 실행에 맞게 조정되었습니다. 이렇게 조정된 모델은 원래 모델 대비 단 2%의 감소만으로 92%의 F1 점수를 유지합니다. 또한 광류 가속기(OFA)는 추론 측 광류 추정(optical-flow estimation)에 추가로 사용됩니다. 저자들의 지식으로는 이전 연구에서 이러한 결합된 문제들을 다룬 바가 없습니다. 자율 주행 인식에 Swin Transformer를 사용했을 때, H-FraDS Balanced Dispatch (1:2)는 125.93 FPS를 달성하여 독립적인 조정된 DLA 실행 대비 2.36배의 속도 향상(speedup), 4.0 FPS/W, 약 24ms의 DLA 지연 시간을 기록하며 30 FPS 실시간 작동을 만족합니다. GPU-DLA-OFA 조합의 경우 2.02배의 DLA 처리량 속도 향상을 달성했습니다.