강화학습을 이용한 이종 다중 가속기 시스템에서의 경성 및 연성 실시간 DNN 추론 스케줄링

요약

본 논문은 이종 다중 가속기 시스템에서 경성 및 연성 실시간 DNN 추론 워크로드를 처리하는 새로운 스케줄링 프레임워크를 제시합니다. 온라인 강화학습(RL) 스케줄러와 결정론적 런타임 안전 레이어를 결합하여, HRT 마감 시간 충족을 보장하면서도 QoS 및 가속기 활용도를 극대화합니다.

핵심 포인트

• 이종 다중 가속기를 위한 실시간 DNN 추론 스케줄링 프레임워크를 제안함.
• RL 기반의 동적 스케줄 생성과 결정론적 안전 레이어를 결합하여 안정성을 확보함.
• 새로운 '스케줄러빌리티 보존 전위치 교체 기준'을 도입하여 실현 가능성을 높임.
• 기존 방식 대비 QoS 만족도와 가속기 활용도를 모두 향상시킴.