이미지 하나면 충분하다: 롱테일 공간 인지(Long-Tail Spatial Perception)를 위한 텍스트 기반 월드 모델을 통한 에이전트

요약

WMGen-v1은 단일 이미지와 텍스트를 활용해 물리적으로 타당한 롱테일 공간 데이터를 생성하는 에이전트 기반 월드 모델 프레임워크입니다. LVLM과 LLM을 결합하여 구조화된 장면을 구축하고, 확산 모델을 통해 고품질의 합성 데이터를 생성하여 공간 인지 성능을 높입니다.

핵심 포인트

• WMGen-v1은 롱테일 데이터 부족 문제를 해결하기 위한 에이전트 기반 월드 모델임
• LVLM과 LLM을 활용해 물리적 타당성과 상식적 제약을 준수하는 장면 확장 수행
• 확산 모델을 통해 구조화된 의미론적 표현을 조건으로 다양한 합성 데이터 생성
• 합성 데이터만으로 학습한 탐지기가 실제 데이터 사용 시와 유사한 성능 달성