FlowMaps: Flow Matching을 이용한 장기적 다중 모드 객체 역학 모델링

3D 장면의 공간적 및 시간적 공동 이해는 일상적인 가정 환경에 배치된 로봇에게 매우 중요한 요구 사항입니다. 이러한 에이전트는 공간적 레이아웃을 이해하고 탐색할 수 있어야 할 뿐만 아니라, 이러한 공간이 시간이 지남에 따라 어떻게 변화하는지에 대해서도 추론할 수 있어야 합니다. 특히, 인간은 매일 객체와 상호작용하며, 이로 인해 객체의 위치가 환경 전체에서 변하게 되어 로봇이 현재의 관측값과 이전에 보았던 객체를 안정적으로 연관 짓는 것을 어렵게 만듭니다. 그러나 이러한 상호작용은 무작위적이지 않습니다. 인간의 습관과 루틴은 객체 위치에 시공간적으로 일관된 패턴을 유도하며, 로봇 에이전트는 이를 잠재적으로 학습하여 탐색 (navigation)과 같은 다운스트림 태스크 (downstream tasks)에 활용할 수 있습니다. 이를 위해, 우리는 연속적인 3D 공간에서 동적 객체의 미래 위치에 대한 다중 모드 분포 (multimodal distributions)를 추정하기 위한 잠재 플로우 매칭 (latent flow matching) 모델인 FlowMaps를 소개합니다. 객체 간의 암시적 의존성과 시간적 진화를 학습함으로써, FlowMaps는 과거의 인간 상호작용을 조건으로 객체 위치의 발생 가능한 변화를 예측하는 동시에, 유사한 객체 루틴을 공유하는 이전에 보지 못한 환경에 대해서도 일반화 (generalization)를 지원합니다. 이 방법의 유용성을 입증하기 위해, 우리는 시뮬레이션 및 실제 환경 모두에서 다운스트림 동적 객체 탐색 (Object Navigation) 태스크에 FlowMaps를 배치했습니다. 600회 이상의 에피소드에 걸쳐, FlowMaps는 최첨단 (state-of-the-art) 방식들을 능가하며, 연속적이고 다중 모드적인 시공간 분포를 통해 객체 역학을 모델링하는 것이 변화하는 가정 환경에서 로봇의 탐색 및 내비게이션을 개선한다는 것을 보여줍니다. 코드 및 추가 자료는 https://fra-tsuna.github.io/flowmaps/ 에서 확인할 수 있습니다.