Imagine3D-LLM: MLLMs가 답변하기 전에 3D 장면을 상상하도록 학습시키기

다중 시점 이미지로부터 3D 세계에 대한 추론은 멀티모달 대규모 언어 모델(MLLMs)에게 여전히 근본적인 과제로 남아 있습니다. 최신 MLLMs는 단일 이미지 입력을 효과적으로 처리하지만, 여러 시점 간의 증거를 일관된 3D 이해로 통합하는 데 어려움을 겪습니다. 증가하는 연구 분야들은 MLLMs에 3D 인식을 주입하여 이 격차를 메우려고 노력하고 있습니다. 이는 미세한 픽셀 수준의 교차 뷰 대응(cross-view correspondence)을 강화하거나, 3D 기하학 기반 모델에서 특징을 융합하는 방식입니다. 하지만 여전히 인간의 추론과는 상당한 간극이 존재합니다. 본 연구에서는 인간의 공간적 추론 과정을 재검토하며, 이는 미세한 기하학 단서에 의존하기보다는, 인간이 시점 전반에 걸쳐 공통 객체를 대략적으로 식별하고, 시점들 사이의 상대적인 기하학을 추론하며, 장면의 거친 3D 레이아웃을 조립한다는 것을 시사합니다. 이러한 과정에서 영감을 받아, 우리는 Imagine3D-LLM을 소개합니다. 이는 유사한 간결한 3D 장면 표현을 학습하고 이 표현에 조건화하여 답변하는 MLLM입니다. 구체적으로, 이미지 토큰 뒤에 작은 학습 가능한 요약 토큰(summary tokens) 세트를 추가하고, 이를 광도 재구성 손실(photometric reconstruction loss)로 감독받아 간결한 3D Gaussian Splatting 표현으로 디코딩하며, 표준 다음 토큰 예측 목적과 공동으로 학습시킵니다. 주목할 점은, 요약 토큰만이 직접적인 재구성 감독을 받지만, 이 목적 함수는 또한 LLM의 근본적인 이미지 특징 내에서 더 강력한 교차 프레임 대응(cross-frame correspondence)을 유도하여, 재구성을 학습하는 것이 3D 인식 신호를 모델 전체에 전파한다는 것을 시사합니다. 그 결과, Imagine3D-LLM은 여러 공간적 추론 및 3D 이해 벤치마크에서 기존 접근 방식들을 일관되게 능가하며, 장면을 상상하는 것이 그 픽셀 단위의 기하학 정보를 알려주는 것보다 더 효과적일 수 있음을 시사합니다.