DRHeC: RGB 기반 미분 렌더링을 이용한 핸드-아이 캘리브레이션

정확한 핸드-아이 캘리브레이션은 정밀 조작에 매우 중요합니다. 전통적인 방법들은 마커(markers)에 의존하며, 그 정밀도는 마커의 정확도와 관측 가능성에 달려 있습니다. 반면, 학습 기반 접근 방식과 같은 마커리스(markerless) 방법들은 딥 신경망을 사용하여 이미지에서 키포인트나 특징을 직접 추출함으로써, 물리적 마커가 필요 없이 단일 이미지로 핸드-아이 변환 계산을 가능하게 합니다. 최근에는 미분 렌더링(differentiable rendering) 기반의 핸드-아이 캘리브레이션을 위해 물리 모델을 활용하여 이진 마스크(binary masks)를 렌더링하고 이를 관측값과 비교하는 방법들이 등장했으며, 이는 보정 단계에서 기준 마커 없이도 핸드-아이 캘리브레이션을 가능하게 하고 해석 가능한 최적화(interpretable optimization)를 제공합니다. 비록 현재 최고 수준의 미분 렌더링 방법들이 놀라운 정확도를 달성하지만, 이진 마스크 사용은 내부 프로파일 디테일 손실을 초래하여 정밀도를 떨어뜨릴 수 있습니다. 또한, 이러한 방법들은 불안정한 최적화와 지역 최소값(local minima) 문제도 겪을 수 있습니다. 본 연구에서는 색상과 마스크 기하학적 특징을 통합하여 더 풍부한 기하학적 및 외관 단서(geometric and appearance cues)를 제공하는 새로운 RGB 기반 미분 렌더링 프레임워크를 제안하며, 이를 통해 캘리브레이션 정확도와 최적화 안정성을 향상시킵니다. 또한, 번역 과정 전반에 걸쳐 색상과 기하학적 일관성을 명시적으로 보존하기 위해 마스크 가이디드 이미지-투-이미지 변환(mask-guided image-to-image translation) 방법을 제안합니다. 우리의 접근 방식은 시뮬레이션과 실제 환경 실험 모두를 통해 검증되었으며, 그 결과는 기존 미분 렌더링 방법들보다 높은 정확도와 견고성, 그리고 명확한 개선을 보여줍니다. 우리 방법은 UR5e 실제 환경 실험에서 grasping 성공률 88.9%, 삽입(insertion) 성공률 57.4%를 달성하여, 최고 수준의 미분 렌더링 핸드-아이 캘리브레이션 방법인 EasyHeC보다 각각 46.3%, 48.1% 포인트 더 높은 성능을 보였습니다.