이벤트 기반 광학 촉각 센서를 이용한 밀집 힘 추정

인간은 숙련된 조작(dexterous manipulation)을 위해 높은 시간 해상도를 가진 공간적으로 밀집된, 기하학 및 힘을 인식하는 촉각 피드백에 의존합니다. 비전 기반(vision-based) 촉각 센서는 밀집된 힘 추정을 가능하게 하지만, 카메라 프레임 레이트(frame rates), 모션 블러(motion blur), 데이터 대역폭(data bandwidth)에 의해 제한을 받습니다. 이벤트 기반(event-based) 광학 촉각 센서는 마이크로초(microsecond) 단위의 시간 해상도와 낮은 모션 블러를 제공하는 매력적인 대안이지만, 기존 방식들은 순수 힘(net forces)만을 예측하는 데 국한되어 있습니다. 본 논문에서는 이벤트 기반 광학 촉각 센서를 사용하여 밀집된 3D 힘장(3D force field)을 재구성하는 최초의 프레임워크를 소개합니다. 우리의 접근 방식은 이벤트 데이터로부터 3D 표면 변위(surface displacements)를 추정하고, 이를 역 유한 요소법(inverse Finite Elements Method, iFEM)을 통해 힘으로 매핑합니다. 전단 변위(Shear displacements)는 제안된 이벤트 기반 마커 추적(event-based marker tracking) 알고리즘을 통해 복원되며, 수직 변위(normal displacements)는 동기화된 힘-변위-이벤트 데이터 세트로 학습된 합성곱 신경망(convolutional neural network, CNN)에 의해 예측됩니다. 실험을 통해 물리적 근거를 가진 힘의 정확한 재구성을 입증하였으며, 최대 (4 N, 4 N, 20 N)의 힘 범위에서 평균 절대 오차(mean absolute error) (0.14 N, 0.10 N, 0.93 N)를 달성하는 동시에 평균 100 Hz로 작동함을 보여주었습니다. 본 연구는 로봇 파지(robotic grasping) 및 숙련된 조작(dexterous manipulation)을 위한 고주파 제어용 밀집 힘 피드백을 가능하게 하는 첫 번째 단계가 될 것입니다.