ThinkBLOX: 점진적 추론을 통한 3D 실내 장면 생성
요약
ThinkBLOX는 기존 VLM 기반 3D 실내 장면 생성의 한계(원샷 패러다임, 전역 재최적화 필요)를 극복하기 위해 제안된 점진적 추론 프레임워크입니다. 이 프레임워크는 레이아웃 생성을 상태 조건부 단계별 추론 및 행동 과정으로 간주합니다. ThinkBLOX-Data-200K 데이터셋과 Tier-Decoupled GDPO라는 강화학습 방식을 도입하여 물리적/의미적 타당성이 높은 3D 장면 합성을 가능하게 합니다.
핵심 포인트
- 점진적 추론 프레임워크인 ThinkBLOX를 제안하여 3D 실내 장면 생성의 한계를 극복했습니다.
- ThinkBLOX-Data-200K 데이터셋을 구축하고 SFT를 통해 VLM이 점진적 업데이트를 학습하도록 했습니다.
- Tier-Decoupled GDPO라는 강화학습 방식을 도입하여 물리적/의미론적 타당성을 안정화했습니다.
- 물리적 타당성, 의미 정렬, 상호작용 편집 가능성 측면에서 기존 모델들을 능가함을 입증했습니다.
전통적인 그래픽스 방식은 종종 3D 실내 장면을 자기회귀적(autoregressively) 또는 계층적으로 합성하는 반면, 최근의 비전-언어 모델(VLM) 기반 생성기는 주로 전체 레이아웃이 한 번에 계획되는 원샷 패러다임을 채택합니다. 이러한 원샷 접근 방식은 상호작용 편집(예: 객체 삽입 또는 이동) 중에 전역적인 재최적화나 완전한 재구성을 필요로 하는 경우가 많으며, 물리적 또는 의미적으로 부실하게 구성된 배치를 초래할 수 있습니다. 이러한 문제들을 해결하기 위해, 우리는 3D 장면을 반복적으로 설계하고 개선하는 VLM 기반의 점진적 추론 프레임워크인 ThinkBLOX를 제안합니다. ThinkBLOX는 레이아웃 생성을 상태 조건부(state-conditioned)의 단계별 추론 및 행동 과정으로 취급합니다. 이를 구현하기 위해, 우리는 다중 뷰 장면 컨텍스트, 명시적인 사고 사슬(Chain-of-Thought, CoT) 추론 근거, 그리고 구조화된 JSON 레이아웃이 주석 처리된 224,757개의 절차적 배치 쌍을 포함하는 ThinkBLOX-Data-200K 데이터셋을 구축했습니다. 이 데이터셋에 대한 지도 미세 조정(Supervised Fine-Tuning, SFT)을 통해 VLM은 점진적인 업데이트 하에서 추론-행동 격차를 연결하는 방법을 학습합니다. 나아가, 장면 합성이 본질적으로 다중 해상도 작업이며 SFT가 보상 충돌(reward conflict)로 인해 어려움을 겪는다는 것을 인식하고, 우리는 Tier-Decoupled GDPO를 도입합니다. 이 강화학습(reinforcement learning) 방식은 이종적인 보상을 개별 티어(tier)로 구성하여 물리적 유효성, 의미론적 타당성, 그리고 추론-행동 일관성에 걸쳐 정책 최적화를 안정화합니다. 광범위한 실험 결과는 ThinkBLOX가 물리적 타당성, 의미 정렬, 상호작용 편집 가능성 측면에서 최근의 원샷 및 반복 기반 기준 모델들을 크게 능가함을 보여줍니다. 또한, 우리는 이것이 3D 장면의 전역적 및 국소적 생성과 재배치를 포함하여 다양한 응용 분야를 지원한다는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기