PointLLM-R: Chain-of-Thought를 통한 3D 포인트 클라우드 추론 능력 향상

언어를 통해 3D 포인트 클라우드 (3D point clouds)를 이해하는 것은 포인트 클라우드 데이터의 불규칙한 구조와 기존 3D 멀티모달 모델 (multimodal models)의 명시적 추론 능력 부족으로 인해 컴퓨터 그래픽스 및 시각 컴퓨팅 분야에서 여전히 근본적인 과제로 남아 있습니다. Chain-of-Thought (CoT, 사고의 사슬) 추론이 LLM 및 이미지 기반 MLLM에서 강력한 효과를 보여주었음에도 불구하고, 이를 3D 이해로 확장하는 연구는 여전히 미개척 분야로 남아 있습니다. 본 논문에서는 3D 포인트 클라우드 이해에 특화된 대규모 CoT 감독 데이터를 구축하기 위한 데이터 중심 프레임워크를 제안합니다. 우리의 프레임워크는 2단계 파이프라인으로 구성됩니다. 먼저 시각-언어 모델 (vision-language-model) 기반의 품질 평가와 참조 가이드 정제 (reference-guided refinement)를 통해 포인트-텍스트 지시 데이터 (point-text instruction data)를 정제한 다음, Human-in-the-Loop Prompt Optimization (HiLPO)을 통해 고품질의 추론 경로를 합성합니다. 이 접근 방식을 사용하여, 우리는 명시적인 추론 경로를 포함하며 55K개의 샘플로 구성된 CoT 강화 포인트-텍스트 지시 이행 데이터셋인 PoCoTI를 구축합니다. PoCoTI를 통해 PointLLM을 미세 조정 (Fine-tuning)하면 추론 능력을 갖춘 3D 멀티모달 언어 모델인 PointLLM-R이 탄생합니다. 생성형 3D 분류 (classification) 및 캡셔닝 (captioning)에 대한 광범위한 실험 결과, PointLLM-R은 최첨단 (state-of-the-art) 성능을 달성하였으며 실제 스캔된 포인트 클라우드 및 다회차 대화 (multi-turn dialogue) 시나리오에서도 견고하게 일반화됨을 입증하였습니다.