Terastal: 이기종 가속기 상의 실시간 멀티-DNN 워크로드를 위한 레이어 변형 기반 스케줄링

이기종 (Heterogeneous) DNN 가속기는 각 레이어 (layer)를 선호하는 가속기에 매핑하여 지연 시간 (latency)을 줄임으로써 소프트 실시간 (soft real-time) 멀티-DNN 실행을 개선합니다. 그러나 불균형한 워크로드 하에서는 가속기 간의 큰 레이어 지연 시간 차이로 인해 스케줄링 유연성이 제한되고 마감 시간 미준수 (deadline misses)가 증가합니다. 이러한 문제를 해결하기 위해, 우리는 선호하지 않는 가속기에서의 지연 시간 격차를 줄이는 맞춤형 레이어 구현체인 레이어 변형 (layer variants)을 도입합니다. 이어서, 우리는 이기종 DNN 가속기 상에서 레이어 변형 설계 및 스케줄링을 위한 소프트 실시간 프레임워크인 Terastal을 제시합니다. Terastal은 오프라인의 이기종 인식 가상 예산 할당 (heterogeneity-aware virtual budget assignment) 및 레이어 변형 설계와, 온라인 스케줄링을 결합하여 타이밍 및 정확도 제약 조건 하에서 가속기 매핑과 변형 선택을 공동으로 최적화합니다. 실험 결과에 따르면, Terastal은 변형을 사용하는 모델 전반에서 평균 정규화 정확도 (normalized accuracy) 손실이 2.24%에 불과하면서도, FCFS, EDF, DREAM과 비교하여 모델당 마감 시간 미준수율을 각각 40.58%, 30.53%, 36.27% 감소시켰습니다.