FoundObj: 레이블 없는 3D 객체 분할을 위한 보상으로서의 자기지도 학습 기반 파운데이션 모델 (Foundation Models)

우리는 학습 과정 동안 장면 수준 (scene-level)의 인간 주석 (human annotations)에 의존하지 않고, 복잡한 장면의 포인트 클라우드 (point clouds)에서 3D 객체 분할 (3D object segmentation)이라는 도전적인 과제를 다룹니다. 기존 방법들은 주로 학습 과정에서의 불충분한 객체 사전 정보 (object priors)로 인해 단순한 객체를 식별하는 데 국한되는 경향이 있습니다. 본 논문에서는 혁신적인 의미론적 (semantic) 및 기하학적 (geometric) 보상 모듈 (reward modules)의 안내를 받아 적절한 인접 슈퍼포인트 (superpoints)를 점진적으로 병합하는 슈퍼포인트 기반 객체 발견 에이전트 (object discovery agent)를 특징으로 하는 새로운 프레임워크인 FoundObj를 제안합니다. 이 모듈들은 자기지도 학습 기반의 2D/3D 파운데이션 모델 (foundation models)로부터 의미론적 및 기하학적 사전 정보를 시너지 효과를 내며 활용하여, 객체 발견 에이전트에 상호 보완적인 피드백을 제공하고 강화학습 (reinforcement learning)을 통해 다중 클래스 객체의 견고한 식별을 가능하게 합니다. 다양한 벤치마크에 대한 광범위한 실험을 통해 우리의 접근 방식이 기존 베이스라인 (baselines)보다 일관되게 우수한 성능을 보임을 입증했습니다. 특히, 우리의 방법은 제로샷 (zero-shot) 및 롱테일 (long-tail) 시나리오에서 강력한 일반화 성능을 보여주며, 확장 가능하고 레이블이 필요 없는 (label-free) 3D 객체 분할에 대한 잠재력을 강조합니다.