이것들이 개방 루프 롤아웃(open-loop rollouts)이라는 사실을 믿으시겠어요? 민첩한 조작을 위한 접촉 기반

이것들이 개방 루프 롤아웃(open-loop rollouts)이라는 사실을 믿으시겠어요?

민첩한 조작을 위한 접촉 기반 리타겟팅(Contact-Anchored Retargeting) 시스템, CARD를 소개하게 되어 기쁩니다.

현재까지의 거의 모든 방법은 인간과 로봇 사이의 인터페이스로서 운동학(kinematics)에만 국한되어 있습니다. CARD를 사용하면 촉각 반응형 리플레이(tactile reactive replay)를 통해 실시간 접촉 및 힘을 운동학과 함께 추적하여 전례 없는 민첩한 작업을 수행할 수 있습니다!

CARD는 확장성이 뛰어납니다:

• 여러 입력 소스
• 여러 로봇 손
• 객체 모델이나 시뮬레이터가 필요 없으며, 10 Hz로 작동합니다.

"접촉은 조작의 핵심입니다." -- Matthew Mason @mastertoadster.

인간 접촉을 로봇에 재구성하는 것이 액터(행위자: 인간/로봇)와 환경 사이의 인터페이스인 접촉이 위치하기 때문에, 인간의 민첩성을 원활하게 전송할 수 있는 방법입니다.

객체 움직임은

추출된 접촉(Extract contact):
스마트폰 비디오, 촉각 장갑, 모션 캡처 등 손의 자세와 접촉을 제공하는 모든 소스로 CARD가 작동할 수 있습니다.

모든 것이 하나의 통합된 손-접촉 표현(unified hand-contact representation)으로 매핑됩니다: 손 영역당 하나의 접촉 앵커를 가집니다.

장갑이 없나요? 비디오에서 직접 손의 접촉을 추정하는 우리의 비디오-접촉 모델인 Vid-HACO(참고: @BotaoUMD 주도)를 만나보세요.

테스트된 HRDexDB에서 이미지 기반 HACO보다 우수합니다: 정점 F1 점수 63.3 → 67.2, AP 54.3 → 72.2. 자세한 내용은 저희 웹사이트를 확인해 주세요~

접촉 보존(Preserve contact):
모든 데이터 소스로부터 얻은 통합된 표현을 바탕으로, CARD는 해당 로봇 패드를 접촉 힘 목표물에 정렬하여 정확한 위치와 방향을 맞춥니다.

저희 웹사이트에서 모든 단계의 대화형 데모를 확인해 보세요.

CARD는 접촉 보존 분야에서 SOTA(State-of-the-Art)입니다:

• 운동학 기반 모델: 프레임의 <10%
• 객체 인식 리타겟팅: 22.5%
• CARD: 비디오, 장갑, mocap 및 GRAB 전반에 걸쳐 43–78%.

접촉 비용을 물리 기반 리타겟팅에 적용함으로써 엄격한 GRAB 작업 성공률이 12%에서 32%로 향상됩니다.

접촉 추적(Tracking contact):
우리는 촉각 센서 피드백을 기반으로 원하는 접촉 힘을 추적하는 적분 지배형 촉각 수용성 제어기인 촉각 트래커(tactile tracker)를 사용합니다. 이 기능이 작업 성공에 매우 중요함을 발견했습니다:

위치만 사용 시(Position-only) $\rightarrow$ 트래커와 함께 사용할 경우(with tracker):
망치 들기(hammer lift) 1/10 $\rightarrow$ 8/10

Amazon FAR 인턴십 기간 동안 수행한 작업입니다.

팀원들에게 큰 감사를 전합니다(Huge shout out to the team):
@BotaoUMD, Francois Hogan, Wei Pan,
@RaoFu79761158, Wen-Han Hsieh,
@ruoshi_liu,
@JitendraMalikCV,
@GuanyaShi,
@akashshrm02
!
프로젝트 페이지: https://card-retargeting.github.io
arXiv: https://arxiv.org/abs/2610.36539
"부디 ~하기를