Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 제약 마르코프 결정 과정(CMDPs)에서 원시-쌍대 학습 방법의 비정상성을 분석했습니다. 특히, 두 시간 규모 가정 하에 발생하는 채널별 진동과 불일치가 매개변수 공명을 유발함을 밝혔습니다. 이 연구는 활성 안장 주변의 근사 및 다양한 제약 조건에서의 동역학적 특성을 깊이 있게 다루고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기제약 마르코프 결정 과정(constrained Markov decision processes)을 위한 원시-쌍대 방법은 두 시간 규모 가정 하에 분석되며, 비정상성은 두 채널을 통해 유입됩니다. 제약 수준이 진동하는 가산 채널에서는 쌍대의 진동이 움직이는 최적점에 의해 설정되는 바닥값에서 포화되고 시간 규모 비율에 의해 선형적으로 증폭됩니다. 제약 민감도가 진동하는 매개변수 채널에서는 일관된 변조가 어떤 깊이에서도 공명 강제력을 전달하지 않습니다: 쌍대 업데이트의 강성 변조는 원시 업데이트의 감쇠 변조를 상쇄합니다. 대신 불안정성은 원시 업데이트가 사용하는 제약 추정치와 쌍대 업데이트가 사용하는 측정값 사이의 불일치에서 발생하며, 이는 쌍의 고유 주파수 두 배에서 매개변수 공명을 생성합니다. 허용되는 불일치는 강제 대역폭의 제곱근에 따라 증가하고 쌍대-원시 스텝 크기 비율의 제곱근에 따라 붕괴됩니다. 이러한 결과는 활성 안장 주변의 접선 선형-2차 근사(tangent linear-quadratic reduction)에서, 하나의 제약과 공통 변조 및 등방성 조건 하의 $K$개 제약 모두에 대해 성립합니다. 두 업데이트를 동일한 추정치로부터 구동하는 것은 공명 강제력을 제거하지만, 추정기의 편향과 같은 정상 오프셋을 도입합니다. 라그랑지안 소프트 액터-크리틱(Lagrangian soft actor-critic) 에이전트에서, 승수(multiplier)는 그가 식별한 선형 루프가 예측하는 시간 규모 비율의 하차수(sub-harmonic)에 고정되고 일관된 비용 크리틱(cost critic)은 이 잠김(lock-in)을 억제하며, 비례 항(PID)은 잠김 상태를 유지할 것으로 예측되어 승수의 투영을 통해 대부분을 억제합니다.