Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
이기종 DNN 가속기 환경에서 실시간 멀티-DNN 워크로드의 마감 시간 미준수 문제를 해결하기 위한 Terastal 프레임워크를 제안합니다. 레이어 변형(layer variants) 기술을 도입하여 가속기 간 지연 시간 격차를 줄이고 스케줄링 효율을 최적화합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AR의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이기종 (Heterogeneous) DNN 가속기는 각 레이어 (layer)를 선호하는 가속기에 매핑하여 지연 시간 (latency)을 줄임으로써 소프트 실시간 (soft real-time) 멀티-DNN 실행을 개선합니다. 그러나 불균형한 워크로드 하에서는 가속기 간의 큰 레이어 지연 시간 차이로 인해 스케줄링 유연성이 제한되고 마감 시간 미준수 (deadline misses)가 증가합니다. 이러한 문제를 해결하기 위해, 우리는 선호하지 않는 가속기에서의 지연 시간 격차를 줄이는 맞춤형 레이어 구현체인 레이어 변형 (layer variants)을 도입합니다. 이어서, 우리는 이기종 DNN 가속기 상에서 레이어 변형 설계 및 스케줄링을 위한 소프트 실시간 프레임워크인 Terastal을 제시합니다. Terastal은 오프라인의 이기종 인식 가상 예산 할당 (heterogeneity-aware virtual budget assignment) 및 레이어 변형 설계와, 온라인 스케줄링을 결합하여 타이밍 및 정확도 제약 조건 하에서 가속기 매핑과 변형 선택을 공동으로 최적화합니다. 실험 결과에 따르면, Terastal은 변형을 사용하는 모델 전반에서 평균 정규화 정확도 (normalized accuracy) 손실이 2.24%에 불과하면서도, FCFS, EDF, DREAM과 비교하여 모델당 마감 시간 미준수율을 각각 40.58%, 30.53%, 36.27% 감소시켰습니다.