Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
연속적 MDP 계획에서 발생하는 호라이즌 저주를 해결하기 위해 그래프 희소 샘플링(GSS) 알고리즘을 제안합니다. GSS는 후보 결정 간 미래를 공유하는 분기 없는 그래프 구조를 통해 계산 효율성을 높이고 GPU 가속을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기연속적인 도메인에서의 불확실성 하의 계획 (Planning under uncertainty)은 자율 시스템에 필수적이지만, 계산적으로 매우 까다롭습니다. 몬테카를로 트리 탐색 (Monte Carlo Tree Search, MCTS)과 같은 트리 기반 탐색 방법들이 여전히 인기를 끌고 있으나, 이들의 분기 구조는 최악의 경우 탐색 깊이 (lookahead depth)에 따라 기하급수적으로 증가하는 샘플링 예산을 요구할 수 있습니다. 트리 관점에서 볼 때, 연속적인 상태 (state) 또는 행동 (action) 공간은 플래너가 무한한 분기 계층 구조 내에서 어디를 탐색할지 결정해야 하므로 특히 도전적입니다.
우리는 각 후보 행동에 대해 별도의 후속 상태를 샘플링하는 대신, 많은 후보 결정들 사이에서 샘플링된 미래를 공유하는 온라인 계획 알고리즘인 그래프 희소 샘플링 (Graph Sparse Sampling, GSS)을 제안합니다. 이 분기 없는 (branch-free) 그래프는 GPU 친화적인 대규모 배치를 노출하는 동시에, 휴리스틱을 사용하여 계산에 집중합니다. 우리는 평활화된 백업 (smoothed backups)을 통해 풀 랭크 (full-rank) 또는 저 랭크 (low-rank) 생성 시뮬레이터와 이산적 또는 샘플링된 연속 행동 공간을 아우르는 GSS의 유한 샘플 성능 보장 (finite-sample performance guarantees)을 증명합니다. 적절한 중첩 (overlap), 정칙성 (regularity), 그리고 행동 커버리지 (action-coverage) 조건 하에서, 이러한 경계값들은 계획 호라이즌 (planning horizon)에 대해 다항식 의존성 (polynomial dependence)을 가지며, 이는 공유된 미래가 트리 형태의 희소 샘플링이 가진 지수적 호라이즌 의존성을 언제 피할 수 있는지 공식화합니다. 우리는 GSS가 긴 호라이즌에서 트리 기반 플래너를 실질적으로 능가하거나 최적에 가까운 성능을 달성하는 연속 제어 시뮬레이션을 시연함으로써, 분기 없는 그래프 계획이 온라인 제어를 위한 상호 보완적인 설계 원칙임을 입증합니다.