Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 안전 필수 영역의 강화학습 문제를 해결하기 위해 성능과 안전 목표를 통합한 새로운 벨만 연산자를 제안합니다. 이 결합된 연산자를 사용한 시간차 학습이 두 가지 시간 척도 확률적 근사 프레임워크 하에서 수렴함을 이론적으로 증명했습니다. 실험 결과, 연속 제어 작업에서도 높은 안정성과 낮은 안전 위반율을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기안전 필수(safety-critical) 영역에서의 강화학습은 안전 제약 조건을 엄격히 준수하면서 작업 성능을 최대화하는 것을 요구합니다. 기존의 안전 강화학습 패러다임들은 일반적으로 트레이드오프를 강요합니다. 즉, 엄격한 안전 보장을 위해 사전 지식(a priori knowledge)이 필요하거나 (예: 안전 필터), 또는 공동 학습은 가능하지만 평균적으로만 안전 제약 조건을 만족시킵니다. 본 연구에서는 성능과 안전 목표를 통합하여 하나의 결합된 가치 함수로 만드는 새로운 벨만 연산자(Bellman operator)를 제안합니다. 우리는 이 결합된 벨만 연산자를 사용한 시간차 학습(temporal difference learning)이 두 가지 시간 척도 확률적 근사 프레임워크(two-timescale stochastic approximation framework) 하에서 수렴함을 보여줍니다. 빠른 시간 척도에서는 학습되는 공동 정책의 안전 가치(safety value)가 추정되고, 느린 시간 척도에서는 결합된 가치가 추정됩니다. 극한 동역학(limiting dynamics)을 점유 평균 미분 포함식(occupation-averaged differential inclusion)으로 공식화하고, 이것이 점근적으로 한계 최적 안전 제약 작업 가치 함수들의 집합에 수렴함을 보여줌으로써 수렴성을 보장합니다. 이론적으로, 일단 수렴하면 결과로 얻어진 최적 정책은 모든 시점에서 안전을 유지하면서 작업 수익(task return)을 최대화합니다. 신경 근사(neural approximations)를 사용한 연속 제어 작업(continuous control tasks)에 대한 경험적 평가는 테스트 시간에서 거의 0에 가까운 안전 위반과 함께 안정적인 수렴을 입증했습니다.