UniDexTok: 실제 데이터를 활용한 통합된 다지형 손 토크나이저 (Unified Dexterous Hand Tokenizer)

다지형 손 (Dexterous hands)은 미세한 조작 (fine-grained manipulation)을 위해 필수적이지만, 하드웨어 설계는 구현체 (embodiments)에 따라 상당히 다양합니다. 운동학 (kinematics), 관절 정의 (joint definitions), 그리고 자유도 (degrees of freedom)의 차이는 병렬 그리퍼 (parallel grippers)와 비교했을 때 공유된 상태 표현 (shared state representation)을 정의하는 것을 어렵게 만듭니다. 그 결과, 다지형 손 데이터는 파편화되어 있으며 공동 학습 (joint training)에 사용하기 어렵습니다. 본 연구에서는 인간과 로봇 손의 상태를 공유된 22-DoF (22자유도) 시맨틱 인터페이스 (semantic interface)로 매핑하는 통합 다지형 손 모델 (Unified Dexterous Hand Model, UDHM)을 제안합니다. UDHM을 기반으로, 우리는 표준화된 실제 관절 상태로부터 구현체 조건부 이산 토큰 (embodiment-conditioned discrete tokens)을 학습하는 리타겟팅이 필요 없는 상태 토크나이저 (state tokenizer)인 UniDexTok을 소개합니다. UniDexTok은 리타겟팅 (retargeting)이나 시뮬레이션 데이터 (simulation data)에 의존하지 않고 이질적인 다지형 손들을 위한 통합된 표현을 제공합니다. 최근의 베이스라인인 UniHM과 비교했을 때, UniDexTok은 MPJAE를 15.63도에서 0.16도로, MPJPE를 18.51mm에서 0.18mm로 줄였으며, 이는 각각 98.98%와 99.03%의 오차 감소에 해당합니다. 이러한 결과는 재구성 (reconstruction) 정확도를 센티미터 단위에서 서브 밀리미터 (sub-millimeter) 단위로 향상시킵니다. 실험을 통해 다른 구현체의 데이터가 대상 구현체의 재구성 정확도를 향상시킨다는 점을 추가로 보여주었으며, 이는 교차 구현체 토큰화 (cross-embodiment tokenization)의 이점을 입증합니다. 또한 UniDexTok은 새로운 다지형 손이 도입되었을 때 강력한 제로샷 (zero-shot) 및 퓨샷 (few-shot) 재구성 능력을 보여줍니다.