Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
GALA는 지지 및 포함과 같은 세밀한 배치 제약 조건을 추론하여 현실적인 3D 장면 생성을 가능하게 하는 기하학 인식 언어 모델입니다. 이 모델은 장면 컨텍스트와 배치 지침에 조건화되어 목표 객체의 6D 포즈를 자기회귀적으로 예측합니다. 연구진은 이를 활용해 다단계 계획-배치-검증 에이전트 파이프라인도 개발했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지지(support) 및 포함(containment)과 같은 세밀한 배치 제약 조건에 대한 추론은 현실적인 3D 장면 생성을 위해 필수적입니다. 이는 방향성 경계 상자(oriented bounding box, OBB)와 같이 단순화된 객체 표현에 의존하는 기존 방법들에게 여전히 중요한 과제로 남아 있습니다. 이러한 한계를 해결하기 위해, 우리는 제어 가능한 객체 배치를 위한 명시적인 포인트 클라우드 인식 기능을 갖춘 기하학 인식 언어 모델인 GALA를 소개합니다. 저희 모델은 장면 컨텍스트와 배치 지침에 조건화되어 목표 객체의 6D 포즈(pose)를 한 번에 예측하는 방식으로 자기회귀적(autoregressive)으로 작동합니다. 저희는 두 단계의 학습 전략을 활용합니다: 첫 번째 단계에서는 사전 학습 과제를 통해 기하학적 및 텍스트 양식을 정렬하고, 두 번째 단계에서는 모델을 배치에 맞게 미세 조정합니다. 이 작업을 용이하게 하기 위해, 우리는 다양한 방 유형과 세밀한 가구 배치를 다루는 다중 소스 장면 데이터셋을 구축했으며, 이는 커뮤니티의 이익을 위해 오픈소스로 공개될 예정입니다. 저희 벤치마크에서의 실험 결과는 명시적인 기하학적 추론 없이 작동하는 기준 모델들보다 저희 모델이 현저하게 우수함을 보여줍니다. 나아가, 우리는 모델을 사용하여 텍스트 기반 장면 생성을 위한 다단계 계획-배치-검증(plan-place-verify) 에이전트 파이프라인을 개발했습니다. 프로젝트 페이지: https://xccelephant.github.io/paper/gala/