타일 기반 가속기 상의 DNN 기반 엔드투엔드(E2E) 자율 주행 시스템을 위한 격리 인지형 스케줄링 프레임워크

Level-4+ 자율 주행 시스템 (ADS)은 실행 시간이 최대 3.3배까지 변동하더라도 엄격한 지연 시간 제약 조건(<=100 ms) 하에서 수십 개의 이기종 심층 신경망 (DNN)을 엔드투엔드 (E2E) 파이프라인으로 실행해야 합니다. 양산형 ADS에서 각 기능에 격리된 하드웨어를 전용하는 것은 비용 문제로 인해 불가능하므로, 이러한 DNN들은 단일 칩에 밀집되어 배치(colocated)되어야 하며, 이는 공유 자원 경합 (shared-resource contention)을 유발합니다. 타일 기반 가속기 (Tile-based accelerators)는 기존 ADS 스케줄러가 활용하지 못하는 두 가지 스케줄링 기회를 제공합니다. 첫째, 이들은 조절 가능한 병렬성 정도 (DoP, Degree of Parallelism)를 제공합니다. 즉, 더 많은 타일을 할당하면 DoP가 높아져 DNN 실행 시간을 단축할 수 있습니다. 둘째, 이들은 하드웨어 네이티브 격리 (hardware-native isolation)를 제공합니다. 타일은 함께 배치된 DNN들 사이에서 물리적으로 분할될 수 있습니다. 하지만 이러한 유연성을 사용하는 데는 비용이 많이 듭니다. 작업의 DoP를 변경하면 가중치 (weights)와 중간 특징량 (intermediate features)의 중단-이동-재시작 (stop-migrate-restart) 재할당을 유발합니다. 10-240 Hz의 ADS 작업 속도에서 이러한 스톨 (stalls)은 E2E 체인을 따라 누적되어 마감 시간 (deadlines)을 위협합니다. 예약 기반 스케줄러 (Reservation-based schedulers)는 DoP를 고정하여 이러한 유연성을 사용하지 않으며, 일하는 방식의 스케줄러 (work-conserving schedulers)는 이를 활용하지만 재할당 비용이 저렴하다고 가정하고 마감 시간을 독립적인 것으로 취급합니다. 본 논문에서는 구성 가능한 격리 (configurable isolation)와 탄력적 예약 (elastic reservation)을 결합하여 재할당이 발생하는 위치와 시점을 제한하는 시공간적 격리-공유 공간 (spatio-temporal isolation-sharing space)을 제공하는 ADS-Tile을 제안합니다. 이후 확률적 지연 시간 모델 (probabilistic latency model)과 DAG 인식 런타임 스케줄러 (DAG-aware runtime scheduler)가 이 공간을 사용하여 공유 E2E 마감 시간 하에서 작업 배치 및 DoP를 결정합니다. 산업계 및 학계에서 유래한 ADS 벤치마크에서, ADS-Tile은 마감 시간이 중요한 설정에서 일하는 방식의 베이스라인보다 최대 32% 적은 타일을 사용하며, 재할당으로 인한 낭비되는 처리 용량을 17%-44%에서 1.2% 미만으로 줄입니다. 제어된 시공간적 공유는 타일 기반 ADS의 자원 효율성과 지연 시간 예측 가능성을 향상시킵니다.