NEST3D: 사회적 Weaver 새둥지의 고해상도 멀티모달 데이터셋

사회적 Weaver (Sociable weaver) 새둥지는 열 조절 미세 서식지 (thermoregulatory microhabitats)를 제공하고 다양한 종을 유지하는 복잡한 생태 구조로서 기능합니다. 그러나 이전 연구에서 사용된 데이터셋은 미세한 3D 구조적 세부 사항이 부족합니다. Weaver 새둥지의 불규칙한 기하학적 구조와 복잡한 숙주 식생과의 통합으로 인해 사용 가능하고 정확한 3D Weaver 새둥지 데이터를 생성하는 것은 매우 어렵습니다. 우리는 104개의 둥지 보유 나무를 대상으로 한 1.4 TB 규모의 오픈 액세스 멀티모달 드론 데이터셋을 통해 이 격차를 해소하며, 이 데이터셋은 27,945개의 RGB 이미지, 111,780개의 멀티스펙트럴 (multispectral) 이미지, 약 7억 8,100만 개의 3D 포인트, 그리고 전문가가 주석을 단 시맨틱 세그멘테이션 (semantic segmentation) 레이블로 구성됩니다. 우리는 KPConv, RandLA-Net, 그리고 Point Transformer V3를 사용하여 시맨틱 세그멘테이션을 벤치마킹하였으며, PT-v3는 테스트 세트에서 86.35%의 mIoU를 달성했습니다. 이러한 결과는 트랜스포머 (transformer) 기반 및 포인트 단위 (point-wise) 방식의 강력한 성능을 입증하는 동시에, KPConv와 같은 컨볼루션 (convolution) 기반 접근 방식에서 나타나는 아키텍처 의존적 과제들을 강조합니다. 스펙트럴 (spectral), 공간적 (spatial), 구조적 (structural) 정보를 독특하게 결합함으로써, 제시된 데이터셋은 3D 재구성 (reconstruction), 세그멘테이션, 그리고 분류 (classification) 알고리즘을 발전시키며, 둥지 부피 추정부터 종 보존에 이르기까지 다양한 생태학적 응용을 가능하게 합니다. 또한, 극심한 클래스 불균형 (class imbalance) 상황에서 아키텍처에 따른 성능 차이를 드러내는 까다로운 벤치마크 역할을 합니다.