Strait: ML 추론 서비스에서의 우선순위와 간섭 인식

요약

Strait는 ML 추론 서비스 시스템의 효율성을 높이기 위해 설계된 새로운 서비스 시스템입니다. 이 시스템은 GPU 환경에서 여러 작업의 우선순위를 인식하고, 데이터 전송 경쟁 및 커널 실행 간섭을 예측하여 스케줄링합니다. 그 결과, 고우선순위 작업의 마감 시간 준수율을 크게 향상시키면서도 저우선순위 작업에 합리적인 비용만 부과하는 것이 가능함을 입증했습니다.

핵심 포인트

• Strait는 ML 추론 서비스에서 우선순위 기반 스케줄링을 제공하여, 고우선순위 작업의 마감 시간 준수율(deadline adherence)을 높입니다.
• 시스템은 데이터 전송 경쟁 및 커널 실행 간섭을 모델링하고 예측하는 적응형 예측 모델을 사용합니다.
• Strait는 우선순위 인식 스케줄링을 통해 고우선순위 작업의 마감 시간 위반률을 1.02%~11.18% 감소시키는 성능 향상을 보였습니다.
• 기존 소프트웨어 정의 전제(preemption) 방식과 비교했을 때, Strait는 더 공정하고 우수한 성능을 제공합니다.