저렴한 에너지로 나아가기: 전력 유틸리티 수요 반응 프로그램용 Gymnasium 환경

극심한 날씨와 변동성이 큰 도매 전기 시장은 주거 소비자들에게 치명적인 재정적 위험을 노출시키지만, 배전 단계에서의 수요 반응(demand response)은 그리드 유연성과 에너지 비용 효율성을 위한 활용도가 낮은 도구로 남아 있습니다. 수요 반응 프로그램은 고가 기간에 금융 크레딧을 발행하여 소비자를 보호할 수 있지만, 이러한 순차적인 의사결정 과정을 최적화하는 것은 풍부한 오프라인 역사적 스마트 미터 및 도매 가격 데이터가 공개적으로 이용 가능함에도 불구하고 강화학습(RL)에게 독특한 과제를 제시합니다. 오프라인 역사적 데이터는 전력 유틸리티의 가격 신호와 수요 반응 프로그램에 대한 고객의 수용 및 적응 사이의 역동적인 상호 피드백 루프를 포착하지 못합니다. 이를 해결하기 위해, 우리는 전력 유틸리티의 관점에서 수요 반응을 훈련하고 평가하도록 설계된 오픈 소스, 온라인 Gymnasium 호환 환경인 DR-Gym을 소개합니다. 기존 장치 수준 에너지 시뮬레이터와 달리, 우리의 환경은 시장 수준의 전력 유틸리티 설정에 초점을 맞추며 전력 유틸리티와 관련된 풍부한 관측 공간을 제공합니다. 또한 이 시뮬레이터는 실제 극한 이벤트에 맞춰 보정된 레짐 스위칭(regime-switching) 도매 가격 모델과 물리 기반 건물 수요 프로파일을 특징으로 합니다. 학습 신호의 경우, 다양한 학습 목표를 지정하기 위해 구성 가능한 다중 목적 보상 함수(multi-objective reward function)를 사용합니다.

우리는 기준 전략(baseline strategies)과 데이터 스냅샷을 통해 우리 시뮬레이터가 현실적이고 학습 가능한 환경을 생성할 수 있는 능력을 입증합니다.