생성 모델(generative models)이 별도의 학습이 필요 없는 보상 정렬(reward alignment)을 가능하게 했지만, 현재의 방법들은 일반적으로 기저 분포(underlying distribution)의 좁은 영역 내에서의 국소적 탐색(local exploration)에 탁월한 성능을 보입니다. 이러한 접근 방식은 선호도가 사전에 알려지지 않고 순차적인 피드백을 통해서만 드러나는 경우, 즉 높은 효용을 가진 영역을 발견하기 위해 광범위한 탐색이 요구되는 시나리오에서는 어려움을 겪습니다. 이를 해결하기 위해, 우리는 샘플 효율적인 온라인 피드백 기반 탐색을 위한 프레임워크인 순차 제어형 상호작용 다입자 흐름 지도 (Sequentially-Controlled Interactive Multi-Particle Flow-Maps, IMPFM)를 제안합니다. IMPFM은 상호작용하는 입자(particles) 그룹을 목표 분포(target distribution)를 향해 점진적으로 이동시키며, 이질적인 선호도 정렬(heterogeneous preference alignment)에 필수적인 광범위한 커버리지(coverage)를 유지합니다. IMPFM은 흐름 지도(flow maps)를 통해 입자 간의 원칙적이고 효율적인 사후 샘플 공유(posterior sample sharing) 메커니즘을 도입합니다. 각 재샘플링(resampling) 단계에서 전체 앙상블(ensemble)의 집합적 사후 샘플을 사용하여 개별 입자의 드리프트(drift)를 교정함으로써, 이 프레임워크는 표준 제어 프레임워크에서 전형적으로 나타나는 보상 과최적화(reward over-optimization)를 능동적으로 완화하는 동시에 전역 탐색(global exploration)을 가능하게 하는 샘플 효용을 극대화합니다. 다입자 상호작용을 포함하는 원칙적인 탐색-활용(exploration-exploitation) 재가중치 메커니즘과 결합된 이 순차 교정형 다입자 역학(sequentially corrected multi-particle dynamics)은 구조적 다양성(structural diversity)을 명시적으로 보존하고 표준 SMC 샘플러에 내재된 가중치 퇴화(weight degeneracy) 문제를 극복합니다. 결정적으로, 우리는 결과적으로 도출된 샘플링 프레임워크가 다입자 상호작용을 인식하는 Feynman-Kac 교정기(Feynman-Kac corrector)를 생성하여, 다입자 시스템을 KL-기울어진 목표 분포(KL-tilted target distribution)로 점진적으로 유도함으로써 전역 탐색을 촉진하고 모드 붕괴(mode collapse)를 방지함을 증명합니다. 다양한 탐색 및 정렬 작업에 대한 광범위한 실증적 평가와 엄격한 절제 연구(ablations)를 통해 기존 베이스라인 대비 IMPFM의 효능을 확인했습니다.