OutLangSplat: UAV 실외 장면을 위한 3D 언어 가우시안 스플래팅 (3D Language Gaussian Splatting)

원문 발행 2026. 08. 05. 16:54원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

OutLangSplat은 UAV 실외 장면의 복잡한 환경에서도 텍스트 기반 3D 장면 이해가 가능하도록 설계된 새로운 3D 언어 가우시안 스플래팅 기술입니다. 2D-3D 이중 분기 표현과 신뢰도 기반 특징 집계 전략을 통해 기존 모델의 한계를 극복하고 SOTA 성능을 달성했습니다.

핵심 포인트

UAV 실외 장면을 위한 오픈 보캐블러리 3D 장면 이해 기술 제안
2D-3D 이중 분기 표현을 통한 공간적 일관성 및 특징 표현 개선
학습이 필요 없는 기여도 및 일관성 인식 가우시안 특징 집계 전략 도입
UAV 실외 장면을 위한 최초의 오픈 소스 데이터셋 제공
시맨틱 세그멘테이션 및 인스턴스 로컬라이제이션에서 SOTA 달성

3D 언어 가우시안 스플래팅 (3D Language Gaussian Splatting)은 오픈 보캐블러리 (open-vocabulary) 언어 특징을 3D 가우시안 스플래팅 (3D Gaussian Splatting)에 임베딩하여, 텍스트 기반의 3D 장면 이해를 위한 효율적인 명시적 표현 (explicit representation)을 제공합니다. 그러나 기존 방법들은 실내 또는 소규모 장면에 국한되어 있으며, 심각한 폐쇄 (occlusions)와 먼 거리의 시점 (viewpoints)으로 인해 잘못된 시맨틱 활성화 (semantic activations) 및 타겟 응답 누락이 자주 발생하는 무인 항공기 (UAV) 실외 장면에서는 실패하는 경향이 있습니다. 본 논문에서는 특징 표현 (feature representation)과 집계 신뢰도 (aggregation reliability)를 개선함으로써 언어 가우시안 표현을 UAV 실외 장면에 적응시킨 OutLangSplat을 제안합니다. 특징 표현을 위해, 공간적 일관성 (spatial consistency)을 향상시켜 불완전한 타겟 응답과 배경 오활성화를 줄이기 위해 영역 기반 정렬 및 융합 (region-based alignment and fusion)을 포함하는 2D-3D 이중 분기 표현 (2D-3D dual-branch representation)을 설계했습니다. 특징 집계 (feature aggregation)를 위해, 우리는 노이즈가 있는 시점으로부터의 신뢰할 수 없는 응답을 억제하기 위해 픽셀 기여도 신뢰성 (pixel contribution reliability)과 교차 시점 시맨틱 일관성 (cross-view semantic consistency)을 활용하는, 학습이 필요 없는 기여도 및 일관성 인식 가우시안 특징 집계 (training-free contribution and consistency-aware Gaussian feature aggregation) 전략을 도입합니다. 4개의 실제 공개 UAV 실외 장면 데이터셋에 다양한 객체를 수동으로 주석(annotation)을 달아 새로운 데이터셋을 제공합니다. 우리가 알고 있는 바로는, 이는 UAV 실외 장면에 대한 오픈 보캐블러리 3D 장면 이해를 위한 최초의 접근 가능한 데이터셋입니다. 정량적 평가와 어블레이션 연구 (ablation studies)를 통해 OutLangSplat이 오픈 보캐블러리 시맨틱 세그멘테이션 (semantic segmentation) 및 인스턴스 로컬라이제이션 (instance localization) 작업 모두에서 SOTA (State-of-the-Art) 방법들보다 뛰어난 성능을 보임을 입증했습니다. 데이터셋과 코드는 오픈 소스로 공개될 예정입니다.

AI 자동 생성 콘텐츠

원문 바로가기

OutLangSplat: UAV 실외 장면을 위한 3D 언어 가우시안 스플래팅 (3D Language Gaussian Splatting)

요약

핵심 포인트

댓글