엔트로피 최대화를 통한 매니폴드 샘플링 (Manifold Sampling via Entropy Maximization)

제약 조건이 있는 분포 (constrained distributions)로부터의 샘플링은 베이지안 최적화 (Bayesian optimization) 및 로보틱스 (robotics)를 포함하여 광범위한 응용 분야를 가지고 있습니다. 기존 연구들은 제약 조건이 있는 샘플링 (constrained sampling)에 대한 수렴성 및 타당성 보장을 확립하였으나, 가용 집합 (feasible set)이 연결되어 있다고 가정합니다. 그러나 실제 상황에서 가용 집합은 종종 여러 개의 분리된 구성 요소 (disconnected components)로 분해되며, 이는 제약 조건 하에서의 효율적인 샘플링을 어렵게 만듭니다. 본 논문에서는 매끄러운 등식 및 부등식 제약 조건 (smooth equality and inequality constraints)에 의해 암시적으로 정의되는, 분리된 구성 요소의 수를 알 수 없는 매니폴드 (manifold) 상의 샘플링을 위한 MAnifold Sampling via Entropy Maximization (MASEM)을 제안합니다. 제시된 방법은 k-최근접 이웃 밀도 추정 (k-nearest neighbor density estimation)을 기반으로 경험적 분포 (empirical distribution)의 엔트로피를 최대화하기 위해 재샘플링 (resampling) 기법을 사용합니다. 우리는 평균장 (mean field)에서 MASEM이 재샘플링 단계 수에 따라 경험적 분포와 최대 엔트로피 목표 분포 사이의 KL-발산 (KL-divergence)을 지수적으로 감소시킴을 보여줍니다. 우리는 여러 개의 로컬 샘플러 (local samplers)를 사용하여 MASEM을 구체화하였으며, 합성 데이터 및 로보틱스 기반 벤치마크에서 그 다재다능함과 효율성을 입증하였습니다. MASEM은 다양한 제약 조건 샘플링 문제에 대해 빠르고 확장 가능한 믹싱 (mixing)을 가능하게 하며, 경쟁력 있는 실행 시간과 함께 Sinkhorn 거리 (Sinkhorn distance) 측면에서 기존 대안들보다 한 자릿수(an order of magnitude) 더 나은 성능을 보여줍니다.