STLGT: 마이크로서비스의 꼬리 지연 시간 예측을 위한 확장 가능한 추적 기반 선형 그래프 트랜스포머
요약
STLGT(Scalable Trace-based Linear Graph Transformer)는 마이크로서비스 시스템의 꼬리 지연 시간(tail-latency)을 정확하게 예측하기 위해 설계된 새로운 모델입니다. 이 모델은 추적 데이터를 스패ن 그래프로 인코딩하고, 구조 인식 선형 그래프 트랜스포머와 디커플링된 시간적 모듈을 결합하여 서비스 간 의존성과 워크로드 동역학을 포착합니다. 실험 결과, STLGT는 기존 방법 대비 높은 예측 정확도를 보였으며, 특히 대규모 스패ن 그래프 환경에서 추론 속도가 크게 향상됨을 입증했습니다.
핵심 포인트
- STLGT는 마이크로서비스의 꼬리 지연 시간(tail-latency) 예측에 특화된 모델입니다.
- 추적 데이터를 스패ن 그래프로 인코딩하여 서비스 간 의존성을 효과적으로 모델링합니다.
- 구조 인식 선형 그래프 트랜스포머를 사용하여 대규모 그래프에서도 추론 시간이 선형적으로 유지됩니다.
- 디커플링된 시간적 모듈을 통해 워크로드의 동역학 변화를 포착하여 예측 정확도를 높입니다.
- 실험 결과, 기존 모델 대비 높은 예측 정확도와 최대 12배 빠른 CPU 추론 속도를 달성했습니다.
정확한 엔드투엔드 꼬리 지연 시간 (tail-latency) 예측은 마이크로서비스 시스템에서 능동적인 SLO 관리를 위해 필수적입니다. 그러나 대규모로 추론 효율성을 유지하면서 장기 의존성 전파와 비정상적이고 폭발적인 워크로드를 모델링하는 것은 여전히 어려운 과제입니다. 우리는 API 당 예측기인 STLGT(Scalable Trace-based Linear Graph Transformer) 를 제시합니다. STLGT 는 추적 (traces) 을 스패ن 그래프 (span graphs) 로 인코딩하여 다단계 p95 꼬리 지연 시간 예측을 수행합니다. STLGT 는 스패น 그래프 크기에 대해 추론 시간이 선형인 구조 인식 (structure-aware) 선형 그래프 트랜스포머를 사용하여 서비스 간 의존성을 전파하고, 워크로드 동역학을 포착하기 위해 디커플링된 시간적 모듈 (decoupled temporal module) 을 사용합니다. 개인화된 교육 마이크로서비스 애플리케이션, DeathStarBench, 그리고 Alibaba 추적 데이터에 대한 실험 결과, STLGT 는 PERT-GNN 대비 평균 8.5% MAPE 의 예측 정확도 향상을 보여주며, Alibaba 추적 데이터를 전처리한 후의 최대 스패น 그래프 크기 (N=32) 에서 CPU 추론 속도가 최대 12 배 빨라집니다. 아블레이션 연구는 각 구성 요소, 특히 폭발적인 트래픽 환경에서의 효과성을 추가로 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기