Mozilla의 성능 이상 탐지를 위한 통계적 변화점 탐지 (Change Point Detection) 기술 조사

소프트웨어 성능 회귀 (Performance regressions)는 비즈니스에 중대한 영향을 미칠 수 있으므로, 자동화된 탐지는 현대의 지속적 통합 (Continuous integration) 파이프라인에서 매우 중요한 구성 요소입니다. Mozilla에서는 수백 개의 일일 코드 변경 사항에 걸쳐 회귀를 식별하기 위해 Student's T-test 기반 접근 방식에 의존하는 Mozilla의 성능 엔지니어링 관리 시스템인 Perfherder를 통해 성능 이상 탐지를 처리합니다. 그러나 1년 동안의 Mozilla 성능 데이터를 예비 분석한 결과, 생성된 경고 그룹의 12.5%가 거짓 양성 (False positives)인 반면, 약 6.8%는 자동화 시스템이 놓친 회귀를 포함하고 있는 것으로 나타났습니다. 본 논문은 Mozilla의 현재 방식에 대한 대안으로서 25가지 변화점 탐지 (Change-point detection, CPD) 방법과 15가지 앙상블 (Ensemble) 접근 방식을 평가하는 실증적 연구를 제시합니다. 우리는 11명의 Mozilla 성능 엔지니어가 수동으로 주석을 달아 구축한 174개의 성능 시계열 (Time series) 데이터셋을 구성하였으며, 이는 성능 엔지니어링을 위해 실무자가 주석을 단 최초의 CPD 벤치마크 중 하나입니다. 연구 결과, 오프라인 및 하이브리드 (Hybrid) CPD 방법은 Mozilla의 방식보다 재현율 (Recall)을 향상시키지만, 정밀도 (Precision) 측면에서 큰 비용을 치르게 됩니다. 앙상블 투표 (Ensemble voting) 전략은 이러한 트레이드오프 (Trade-off)를 완화하고 더 일관된 성능을 제공하여, F1-score를 11% 향상시키는 결과를 가져왔습니다. 우리는 실무자 설문 조사를 통해 실험 결과를 검증하고, 최적의 방법들을 Mozilla의 성능 엔지니어링 시스템에 통합하면서 얻은 교훈을 보고합니다.