홀로노미-커버 결정 과정에서의 안정적 몫(Stable Quotients)을 통한 최소 마르코프화
요약
부분 관측 가능성(POMDP) 환경에서 마르코프 성질을 복원하기 위한 '안정적 몫(Stable Quotients)' 개념을 제안합니다. 홀로노미-커버 결정 과정을 통해 최소한의 메모리로 정확한 상태 추적이 가능한 이론적 토대를 마련하고, 이를 활용한 새로운 강화학습 방법론을 제시합니다.
핵심 포인트
- POMDP에서 마르코프 성질을 복원하는 최소 통계량 규명
- 안정적 몫(Stable Quotient)을 통한 효율적인 상태 추상화
- 최소한의 메모리 심볼로 유한 마르코프 상태 형성 증명
- 홀로노미 메모리 강화학습(Holonomy Memory RL) 방법론 제안
- 실험을 통해 기존 베이스라인 대비 우수한 상태 압축 및 정확도 입증
부분 관측 가능성(partial observability) 하에서 행동하는 에이전트는 마르코프 성질(Markov property)을 복원할 수 있는 재귀적으로 업데이트 가능한 이력 통계량(statistic of history)을 유지해야 하지만, 이러한 최소 통계량은 일반적으로 알려져 있지 않습니다. 본 논문에서는 가시적인 역학(visible dynamics)이 마르코프적이며, 실현된 모든 가시적 전이(visible transition)가 숨겨진 모드(hidden mode)에 고정된 치환(permutation)을 적용하는 구조화된 POMDP 클래스인 홀로노미-커버 결정 과정(holonomy-cover decision processes)에 대한 이 최소 마르코프 충분 통계량(minimal Markov sufficient statistic)을 규명합니다. 특히, 우리는 1단계 보상(one-step rewards)과 몫 후계자(quotient successors)를 보존하는 가장 거친 관측 기반 추상화(coarsest observation-wise abstraction)인 안정적 몫(stable quotient)을 구축하며, 현재 관측값과 안정적 클래스(stable class)의 쌍이 정확한 유한 마르코프 상태(finite Markov state)를 형성함을 증명합니다. 현재 클래스가 올바르게 초기화되면, 정확한 클래스 추적(class tracking)에는 정확히 최소한의 메모리 심볼(memory symbols)이 필요합니다. 즉, 최대화 관측(maximizing observation)에서의 도달 가능성(reachability) 및 쌍별 결정 분리(pairwise decision separation) 조건 하에서, 어떠한 임의의 유한 메모리 컨트롤러도 이보다 적은 양을 사용할 수 없습니다. 재설정 가능한 진단(resettable diagnostics) 하에서, 최근접 프로토타입 클래스 추론(nearest-prototype class inference)은 지수적으로 감소하는 오차를 보이며, '교정 후 재시작(calibrate-then-restart)' 환원은 유한 MDP(finite-MDP) 보장 사항을 복구된 상태로 전달합니다. 이러한 결과는 extit{홀로노미 메모리 강화학습 (Holonomy Memory Reinforcement Learning)}을 가능하게 합니다. 이는 현재의 안정적 클래스로 메모리를 표현하고, 순서화된 에지 수송(ordered edge transports)을 통해 이를 업데이트하며, 진단이 가능할 때 국소 클래스 좌표(local class coordinates)를 식별하고, 동기화 후 표준 유한 MDP RL 백본을 적용합니다. 실험을 통해 원시 상태(raw states)에서 몫 상태(quotient states)로의 정확한 압축을 복구하였으며, 3개의 결정 시점 메모리 상태를 사용하여 몫 오라클(quotient oracle)과 일치하고 비-오라클 베이스라인(non-oracle baselines)보다 뛰어난 완벽한 쌍 순서 정확도(paired-order accuracy)를 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기