3D 시각적 접지 (3D Visual Grounding)를 위한 다양한 언어 생성 스케일링

요약

3D 시각적 접지(3DVG) 성능 향상을 위해 씬 그래프 제약 조건과 LLM의 언어 생성을 결합한 ViGiL3D++ 방법론을 제안합니다. 이 방식은 데이터의 다양성을 확보하여 모델의 일반화 능력을 높이고 기존 VLM의 한계를 규명합니다.

핵심 포인트

• 3D 장면 내 엔티티를 찾는 3DVG 모델의 데이터 다양성 문제 해결
• 씬 그래프 샘플링과 LLM을 결합한 확장 가능한 방법론 ViGiL3D++ 제안
• 기존 스케일링 데이터셋 대비 높은 다양성 및 벤치마크 성능 향상 입증
• 시각-언어 모델(VLM)의 주요 한계점 분석 및 제시