본 연구는 조립된 물체의 이미지에서 각 부품의 자세를 추론하는 과제를 다룹니다. 이 작업은 이산 물리적 제약 조건을 만족해야 하므로 복잡합니다. 이를 해결하기 위해 SE(3) 흐름 모델을 훈련하고, 테스트 시 연결성을 강제하는 분석적 가이던스를 도입하여 조립 품질을 개선했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기레고 부품 세트와 조립된 물체의 이미지가 주어졌을 때, 우리의 과제는 물체를 조립하기 위해 각 부품의 자세(pose)를 추론하는 것입니다. 전통적인 3D 재구성과 달리, 이 작업은 이산 물리적 제약 조건(discrete physical constraints)을 만족시켜야 합니다. 이는 구조를 제공하지만 문제를 조합적(combinatorial)으로 만들고 작은 자세 오류에 매우 민감하게 만듭니다. 부품들이 어떻게 결합되는지에 대한 사전 지식(prior)을 학습하기 위해, 우리는 절차적으로 생성된 조립체(procedurally generated assemblies)에 대해 세트 조건화된 SE(3) 흐름 모델(flow model)을 훈련합니다. 그런 다음 이 모델을 미세 조정하여 이미지 조건화(image conditioning)를 주입하며, 이때 데이터는 1%만 사용했습니다. 하지만 학습된 흐름은 전역 구조(global structure)는 포착하지만, 연결성(connectivity)을 강제하지 못합니다. 이를 해결하기 위해, 우리는 테스트 시간(test time)에 예측값을 연결된 조립체 쪽으로 끌어당기는 분석적 연결장 가이던스(analytic connectivity-field guidance)를 도입합니다. 이를 통해 모델 크기, 사전 훈련(pretraining), 그리고 가이던스를 적용했을 때 향상된 조립 품질을 입증했습니다. 우리는 연구 목적으로 우리의 모델과 데이터를 https://kulits.github.io/BrickFlow/에서 공개합니다.