StableGrasp: 단일 이미지로부터 물리적으로 안정적인 인간 손의 파지 재구성

단일 RGB 이미지로부터 물리적으로 안정적인 인간의 파지를 재구성하는 것은 어렵습니다. 왜냐하면 파지를 물리적으로 모델링하는 것 자체가 어려울 뿐만 아니라, 이 문제는 시각적으로 제약된 손의 자세뿐만 아니라 파지를 안정화시키는 제어 목표(control target)를 추정해야 하기 때문입니다. 기존 방법들은 물리적 요소를 고려하지 않고 오직 시각적인 손 기하학만을 모델링하거나, 덜 그럴듯한 물리적 모델링에 의존하여 결과로 나오는 파지의 물리적 유효성을 제한합니다. 본 논문에서는 StableGrasp를 제시합니다. 이는 시각적 손의 자세와 파지 힘을 결정하는 제어 목표를 명시적으로 분리하는 미분 가능한(differentiable) 시뮬레이션 기반 최적화 프레임워크입니다. 저희 방법은 미분 가능한 시뮬레이터 내에서 파지의 운동 에너지(kinetic energy)를 최소화함으로써 손 기하학과 제어를 공동으로 최적화하며, 동시에 손 기하학을 정규화하여 시각적 일관성과 기하학적 그럴듯함을 유지합니다. 재구성된 파지들은 엄격한 물리 시뮬레이션 하에서 훨씬 더 안정적이며, 입력 이미지와 시각적으로 일관성을 유지하고 기하학적으로도 그럴듯합니다. 실험 결과에 따르면, 저희 접근 방식은 다른 손-제어 전략보다 훨씬 더 안정적인 파지를 생성하며, 이로써 시각 정보만을 이용한 파지 재구성 파이프라인의 출력을 물리적으로 안정적인 파지로 변환하는 데 도움을 줍니다.