FUS3DMaps: Voxel 및 Instance 레벨의 3D 융합을 통한 확장 가능하고 정확한 오픈-보컬리语义 매핑
요약
FUS3DMaps는 공유 볼록 맵 내에서 밀집(dense) 및 인스턴스(instance) 레벨의 오픈-보컬리 세맨틱 레이어를 동시에 유지하는 온라인 이중 레이어 세맨틱 매핑 방법입니다. 이 접근 방식은 두 가지 세맨틱 매핑 방법을 결합하여 추가적인 볼록 레벨의 세맨틱 융합을 가능하게 합니다. FUS3DMaps는 인스턴스 및 밀집 레이어의 품질을 개선하고, 공간 슬라이딩 윈도우에 제한되지 않는 확장 가능하면서도 정확한 인스턴스 레벨 매핑을 제공하여 다층 건물 규모에서 높은 성능을 입증했습니다.
핵심 포인트
- FUS3DMaps는 오픈-보컬리 세맨틱 매핑을 위해 밀집 및 인스턴스 두 가지 레이어를 동시에 활용하는 이중 레이어 구조를 제안합니다.
- 두 레이어의 결합은 추가적인 볼록 레벨의 세맨틱 융합을 가능하게 하여 매핑 정확도와 품질을 향상시킵니다.
- 제안된 방법은 공간 슬라이딩 윈도우에 제한되지 않는 확장성 높은 인스턴스 레벨 매핑이 가능합니다.
- 다층 건물 규모의 대규모 장면에서 오픈-보컬리 세맨틱 매핑의 정확성을 입증했습니다.
오픈-보컬리 (Open-vocabulary) 세맨틱 매퍼는 사전 정의된 클래스 세트 없이 이전에 보지 못한 개념들을 공간적으로 고정시킵니다. 현재 훈련 없는 방법들은 일반적으로 세맨틱 임베딩을 인스턴스 레벨이나 이미지 크롭의 세그먼트를 분할하고 인코딩하거나, 직접적인 이미지 패치 임베딩을 밀집한 세맨틱 맵으로 투영하는 방식으로 3D 맵에 융합합니다. 후자 방법은 전체 커팅되지 않은 이미지 프레임에서 작동하여 분할과 2D-3D 인스턴스 연계를 우회하지만, 기존 방법들은 확장성 측면에서 여전히 제한적입니다. 우리는 FUS3DMaps를 제시하며, 이는 공유 볼록 맵 내에서 밀집한 및 인스턴스 레벨 오픈-보컬리 레이어를 함께 유지하는 온라인 이중 레이어 세맨틱 매핑 방법입니다. 이 설계는 두 세맨틱 매핑 접근법의 보완적 강점을 결합하여 레이어 임베딩의 추가 볼록 레벨 세맨틱 융합을 가능하게 합니다. 우리는 제안된 세맨틱 크로스 레이어 융합 접근법이 인스턴스 레벨 및 밀집 레이어의 품질을 개선하고, 밀집 레이어와 크로스 레이어 융합이 공간 슬라이딩 윈도우에 제한되는 확장 가능하고 매우 정확한 인스턴스 레벨 맵을 가능하게 함을 발견했습니다. 확립된 3D 세맨틱 분할 벤치마크 및 대규모 장면 선택集中的 실험에서 FUS3DMaps는 다층 건물 규모에서 정확한 오픈-보컬리 세맨틱 매핑을 달성함을 보여줍니다. 추가 자료와 코드는 다음 URL 에서 제공될 예정입니다: https://githanonymous.github.io/FUS3DMaps/.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기