FUS3DMaps: Voxel 및 Instance 레벨의 3D 융합을 통한 확장 가능하고 정확한 오픈-보컬리语义 매핑

오픈-보컬리 (Open-vocabulary) 세맨틱 매퍼는 사전 정의된 클래스 세트 없이 이전에 보지 못한 개념들을 공간적으로 고정시킵니다. 현재 훈련 없는 방법들은 일반적으로 세맨틱 임베딩을 인스턴스 레벨이나 이미지 크롭의 세그먼트를 분할하고 인코딩하거나, 직접적인 이미지 패치 임베딩을 밀집한 세맨틱 맵으로 투영하는 방식으로 3D 맵에 융합합니다. 후자 방법은 전체 커팅되지 않은 이미지 프레임에서 작동하여 분할과 2D-3D 인스턴스 연계를 우회하지만, 기존 방법들은 확장성 측면에서 여전히 제한적입니다. 우리는 FUS3DMaps를 제시하며, 이는 공유 볼록 맵 내에서 밀집한 및 인스턴스 레벨 오픈-보컬리 레이어를 함께 유지하는 온라인 이중 레이어 세맨틱 매핑 방법입니다. 이 설계는 두 세맨틱 매핑 접근법의 보완적 강점을 결합하여 레이어 임베딩의 추가 볼록 레벨 세맨틱 융합을 가능하게 합니다. 우리는 제안된 세맨틱 크로스 레이어 융합 접근법이 인스턴스 레벨 및 밀집 레이어의 품질을 개선하고, 밀집 레이어와 크로스 레이어 융합이 공간 슬라이딩 윈도우에 제한되는 확장 가능하고 매우 정확한 인스턴스 레벨 맵을 가능하게 함을 발견했습니다. 확립된 3D 세맨틱 분할 벤치마크 및 대규모 장면 선택集中的 실험에서 FUS3DMaps는 다층 건물 규모에서 정확한 오픈-보컬리 세맨틱 매핑을 달성함을 보여줍니다. 추가 자료와 코드는 다음 URL 에서 제공될 예정입니다: https://githanonymous.github.io/FUS3DMaps/.