시각 정보만으로는 섬세한 접촉에서 왜 모방 학습이 실패하는가: 저비용 정교 원격 조작 및 촉각 정책

테이블 위 조작 시연은 유연한 케이블을 통과시키거나, 광택 나는 책상에서 신용카드를 집어 올리거나, 앨런 렌치를 손 안에서 재배치하는 것을 시도할 때까지는 해결된 것처럼 보입니다.

현대의 모방 학습(imitation learning) 방법론—Transformers를 사용한 액션 청킹 (Action Chunking with Transformers, ACT), 확산 정책 (Diffusion Policies), 그리고 시각-언어-행동 (Vision-Language-Action, VLA) 모델—은 6 자유도 (DoF) 평행턱 그리퍼에서 인상적인 발전을 이루었습니다. 하지만 단단한 두 손가락 클램프에서 16~24 DoF의 정교한 다지 손으로 이동할 때 근본적인 물리적 장벽이 드러납니다: 손이 물체에 접촉하면 시각 정보로는 접촉 상태를 관찰할 수 없습니다.

여기서는 시각 정보만으로 구성된 파운데이션 모델이 접촉 부위에서 왜 실패하는지 분석하고, 정교한 데이터 수집 및 촉각 센싱 비용을 절감하는 세 가지 최근 오픈 소스 논문을 소개합니다.

1. 물리적 격차 (The Physics Gap): 10Hz 카메라 대 15밀리초 슬립 역학

대부분의 현대적인 Vision-Language-Action 모델은 5Hz에서 15Hz로 추론을 실행합니다. 이를 물리적 하드웨어에서 사용 가능하게 만들기 위해, 정책들은 액션 청킹에 의존합니다: 매 밀리초마다 카메라를 질의하지 않고 다음 30~50개의 웨이포인트를 예측하여 저수준 모터 컨트롤러로 스트리밍하는 방식입니다.

섬세한 조작에서는 물리 현상이 완전히 다른 시간 축에서 작동합니다:

1. 접촉 폐색(Contact Occlusion): 로봇 손가락이 작은 물체에 접촉하는 순간, 손가락 자체가 시야를 가립니다. 카메라는 실리콘 끝부분과 물체 표면 사이의 밀리미터 단위 경계를 관찰할 수 없습니다.
2. 슬립 시간 흐름(The Slip Timeline): 미세 슬립 및 전단 변형은 10~20밀리초 만에 발생합니다. 만약 물체가 0밀리초에 로봇의 파지에서 벗어나기 시작한다면, 10Hz 시각 루프는 100밀리초가 되어서야 프레임을 수신할 것이며, 트랜스포머 추론을 완료하는 데까지 180밀리초가 걸립니다. 정책이 수정 명령을 내릴 때쯤이면 물체는 이미 떨어져 버린 상태입니다.
3. 누락된 전단 기울기(The Missing Shear Gradient): RGB 카메라는 압력을 측정할 수 없습니다. 더 중요한 것은, 큰 병진 변위가 발생하기 전에 임박한 슬립을 알리는 표면에 평행한 횡방향 마찰력인 '전단(shear)'을 측정할 수 없다는 것입니다.

비디오 프레임을 토큰화하는 것이 이 문제를 해결하지 못합니다. 왜냐하면 비디오 토큰에는 표면의 마찰 계수나 접촉 패드의 내부 응력 상태가 포함되어 있지 않기 때문입니다.

2. 경쟁 연구 패러다임(The Competing Research Paradigms)

이 제약 조건은 물리적 AI 생태계를 두 가지 뚜렷한 아키텍처로 나눕니다:

3. 근본 연구 분석(Ground-Truth Research Teardown)

이론적 논증에 의존하기보다는, 최근 세 편의 논문은 이러한 실패 모드를 직접 측정하고 다룹니다.

논문 1: DexPort — 핸드헬드 데이터 수집을 고정식 팔로부터 분리(Decoupling Handheld Data Collection from Stationary Arms)

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

• 인용: Amber Xie, Jiawei Fu, Xiaofeng Guo, Carmelo Sferrazza, Guanya Shi, Haozhi Qi (UC Berkeley, CMU). DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection, arXiv:2610.32969 (2026).
• 프로젝트 페이지: amberxie88.github.io/dexport/

표준 원격 조작(teleoperation) 환경에서 고자유도(high-DoF)의 정교한 시연 데이터를 획득하려면 손을 7축 고정 로봇 팔에 장착해야 합니다. 작업자는 동시에 16개 이상의 손가락 관절을 협응시키려고 노력하는 동안, 로봇 팔의 기계적 관성 및 도달 범위 제한과 싸워야 하는 상황에 놓입니다. 이로 인해 작업자의 피로는 데이터셋에 노이즈와 떨리는 움직임을 유발합니다.

DexPort는 데이터 수집 과정에서 로봇 손을 로봇 팔로부터 분리(decouple)합니다. 작업자는 가볍고 휴대 가능한 인체공학 장치(handheld ergonomic rig)를 비정형 실제 환경(주방, 작업장 등)에 직접 들고 다니며, 작은 라이브러리의 직관적인 협응 기술(집기(pinching), 비틀기(twisting), 파워 그립(power grasp))을 통해 손을 구동합니다.

실험 결과:

• 4가지 조작 작업에 걸쳐 2,500개 이상의 시연 데이터를 평가했습니다.
• 측정된 상태가 아닌 기록된 로봇 명령으로 훈련된 시각-운동 정책(visuomotor policies)은 작업 성공률을 11%에서 64%로 향상시켰습니다.
• 휴대용 장치를 통해 수집된 다양한 야외(in-the-wild) 시연 데이터로 훈련을 보강하자, 성공률이 36%에서 78%로 증가했습니다.

논문 2: VecTile — 저가형 유연 3-DoF 전단 감지 배열

• 인용: Jian Hou, Xin Zhou, Adam J. Spiers (Imperial College London). VecTile: A Low-Cost Flexible Tactile Array for 3-DoF Force Sensing, arXiv:2610.31472 (2026).
• 프로젝트 페이지: jiannnh.github.io/VecTile/

광학 엘라스토머 촉각 센서(GelSight, DIGIT)는 내부 카메라를 사용하여 고무 변형을 추적합니다. 해상도는 높지만, 크고, 깨지기 쉬우며, 비싸고, 제어 루프에 이미지 처리 지연 시간(image-processing latency)을 유발하는 단점이 있습니다.

VecTile은 상업용 유연 PCB(FPC), 압저항성 직물(piezoresistive fabric), 주조 실리콘 돌기(cast silicone nubs)로 제작된, 폭이 6mm 미만인 유연한 촉각 배열입니다. 이 배열은 16개의 taxel(센싱 채널 64개)을 특징으로 합니다.

• 물리적 메커니즘: 각 실리콘 돌기는 네 개의 사분면 전극 위에 놓여 있습니다. 정규력(Normal force, 곧게 누르는 힘)은 네 사분면 모두를 균등하게 눌러 그 합계로 측정됩니다. 전단력(Shear force, 옆으로 미끄러지는 마찰력)은 돌기를 기울어지게 하며, 이 때 반대편 사분면 간의 압력 차이로 측정됩니다.
• 비용: 센서 스택 자체는 재료비로 $3.57가 소요됩니다. 판독 전자 장치를 포함한 총 BOM(Bill of Materials)은 $34.67이며, ATmega328P 클론 보드를 사용할 경우 $14.67입니다.
• 성능: UR5e 암에 장착된 ATI Mini40 6축 기준 센서와 비교하여 343 Hz에서 벤치마크되었습니다. 정규력의 RMSE(Root Mean Square Error)는 0.39 N이었고, 전단력의 RMSE는 0.16 N이었습니다. 이 과정에서 정규력과 전단력은 신호 공간에서 86°–90° 구간에서 명확하게 분리되어 측정되었습니다.

논문 3: VisTa3D — 얇은 물체 비전 실패에 대한 경험적 벤치마크 증명

• 인용: Shania Guo, Yeongsik Seo, Andrew Fu, Mei Hao, Iris Xia, Jiwon Jenny Lee, Xinyi Mary Xie, Hyoungseob Park, Aaron Dollar, Alex Wong (Yale University). VisTa3D: A Dataset and Benchmark for Thin Object Reconstruction from Vision, Tactile, and 3D Point Clouds, ECCV 2026, arXiv:2608.20740.
• 데이터셋 저장소: huggingface.co/datasets/shaniaguo/VisTa3D

저자들은 얇은 구조물에 대한 비전 및 범위 센서의 한계를 테스트하기 위해, 17개 환경에 걸쳐 70개의 얇은 물체(와이어, 시트 재료, 식기류)를 포함하는 387개의 장면을 구성했습니다. 이들은 레이저 스캔된 실제 값(ground truth)과 비교하여 동기화된 RGB 이미지, 범위 깊이 맵(range depth maps), IMU 데이터, 촉각 응답 맵 등을 포착했습니다.

실증적 발견(Empirical Finding): 현재 최첨단(state-of-the-art) 비전 및 깊이 포인트 클라우드 모델은 최소한의 픽셀 영역 때문에 얇은 물체에서 심각하게 성능 저하를 보인다. 촉각 반응 지도(tactile response maps)를 통합하는 것은 정확한 3D 경계를 복구하는 데 필요한 국부 기하학적 정보와 물리적 변형 데이터를 제공했다.

4. 엔지니어링 팀이 오늘 구축해야 할 것들

1. 의미론적 계획(Semantic Planning)과 접촉 실행(Contact Execution) 분리: 대규모 비전 모델(또는 VLA)을 거친 공간 타겟팅 및 의미론적 객체 선택에만 엄격하게 사용하고 (1–5 Hz), 손이 접촉 지점으로부터 2 cm 이내로 접근하면 제어권을 소형화된 (50M–100M 파라미터) 정책으로 전환하여 고유수용성(proprioceptive) 및 촉각 신호에 대해 100+ Hz로 폐루프(closed-loop) 구동한다.
2. 이미지 해상도보다 삼축 전단력(Triaxial Shear) 우선순위화: 법선 압축(normal compression)만 측정하는 것은 얼마나 세게 짜고 있는지 알려주지만, 전단력(shear force)은 물체가 미끄러질 위험이 있는지를 알려준다. VecTile과 같은 유연하고 저렴한 전단 배열은 컴퓨팅 예산을 과부하 시키지 않으면서 300+ Hz로 샘플링한다.
3. 시연 장치(Demonstration Rig) 마찰도 감사: 원격 조작(teleoperation) 장치가 작업자에게 팔 관성(arm inertia)에 맞서 싸우도록 강요한다면, 당신의 시연 데이터셋은 인간 피로 아티팩트(human fatigue artifacts)를 인코딩하게 될 것이다. 휴대 가능하고 분리된 캡처 장치(decoupled capture rigs)는 더 깨끗한 시연 궤적과 높은 정책 성공률을 산출한다.

5. 검사 가능한 참조 명세서

1. DexPort: Xie 등이 발표한 논문 DexPort: 정교한 손 데이터 수집을 위한 휴대용 스킬 인터페이스 (arXiv:2610.32969, 2026). 코드 및 CAD: amberxie88.github.io/dexport/
2. VecTile: Hou 등이 발표한 논문 VecTile: 3-DoF 힘 감지를 위한 저비용 유연 촉각 배열 (arXiv:2610.31472, 2026). 회로도 및 펌웨어: jiannnh.github.io/VecTile/
3. VisTa3D: Guo 등이 발표한 논문 Vision, Tactile, 3D 포인트 클라우드로부터의 얇은 물체 재구성을 위한 데이터셋 및 벤치마크 (ECCV 2026, arXiv:2608.20740). 데이터셋: huggingface.co/datasets/shaniaguo/VisTa3D