구역별 시간당 신규 정전 예측: 2시간 전 기준, NWS 경보 + SPC 전망 대비 2.4배 높은 PR-AUC 달성 [P]

안녕하세요! 저는 216개 카운티(MO + IL)에 대한 시간당 정전 예측 모델을 구축했습니다: 현재로부터 2시간 후 시작하여 6시간 동안 해당 카운티 고객의 5% 이상이 새로 정전될 확률 P. 모델은 HRRR 폭풍 관련 데이터(돌풍, 전단 응력(shear), CAPE, 결빙 등), 카운티별 사실 정보, 현재 정전 상황 및 인접 카운티를 기반으로 하는 XGBoost입니다.

설정 결정에 대한 피드백을 받고 싶습니다: 목표는 오직 신규 정전만 포함합니다 (이미 진행 중인 정전을 예측하는 것은 인정하지 않습니다). 저는 현재 정전을 예측하는 것이 너무 쉽고 실용적이지 않다고 생각하여, 훨씬 더 어렵고 최고 기록 경신이 어려운 '신규 정전'에 초점을 맞추기로 결정했습니다. 2020년부터 2024년까지 훈련했으며, 관측된 날씨가 아닌 발행된 HRRR 예측치, 마지막 5회 실행의 평균값을 사용하여 2025년에 테스트했습니다. 이 모델은 2024년에 검증(validates)하고 2025년에 테스트합니다. 기준선(Baseline)은 NWS 경보와 SPC Day 1 전망을 결합한 비율표로, 동일한 행에 맞춰 조정되었습니다. 불확실성(Uncertainty)은 폭풍일 데이터에 대한 부트스트랩(bootstrap)을 쌍으로 사용했습니다.

2025년 결과: PR-AUC는 0.094 대 0.039 (비율 약 2.4배, 95% 범위 2.0–3.3배)입니다. 동등한 경보 발생량에서: 신규 정전의 경우 30%를 포착 vs 17%; 정밀도(precision)는 15% 대 11%입니다. 기본 비율은 카운티-시간의 0.5%이므로, 정밀도는 정확하지만 낮은 수치입니다. 초기 전이 테스트: MO + IL에서만 훈련했을 때, 아이오와(Iowa), 인디애나(Indiana), 미시간(Michigan) (합산)에서는 31% 대 19%를 포착했습니다. 11월 1일부터 실시간으로 운영되었으며 모든 예측치가 블라인드 테스트용으로 저장되었습니다. 작성 보고서, 코드 및 누수 감사 자료: https://ugobruzadin.github.io/storm-outage-risk/ /u/CarRepresentative843가 제출했습니다 [링크] [댓글]