압저항식·자기식·시각촉각(visuotactile) 센서 신호를 하나의 인코더로 처리하는 로봇 촉각 파운데이션 모델 LingBot-Touch

압저항식·자기식·시각촉각(visuotactile) 센서 신호를 하나의 인코더로 처리하는 로봇 촉각 파운데이션 모델 LingBot-Touch 논문이 공개됐다.

앤트그룹(Ant Group) 산하 체화 AI 기업 Robbyant 연구진의 논문이며, 2026-11-11 확인 기준 Hugging Face에서 추천 91개를 받았고 Daily Papers 2026-11-10 목록에서는 1위였다. Robbyant 공식 포스트: https://t.co/EMKEhbITBt

1. 저자들은 촉각 센서마다 채널·배치·해상도·샘플링 속도가 달라, 한 센서로 학습한 모델이 다른 센서의 신호를 읽기 어렵다고 지적했다.
2. 그래서 모든 센서의 촉각 소자(taxel) 위치를 공통 손끝 좌표계로 옮기고, 센서 종류별 토크나이저 3개 뒤에 공유 Haptic Transformer를 둔다. 학습은 가려진 소자의 원신호를 복원하는 대신 잠재 공간 표현을 예측하는 Tactile-JEPA 방식이다.
3. 사전학습 데이터는 촉각 장갑을 낀 사람의 1인칭 기록과 원격조작 로봇 손 기록을 합친 4,983시간(논문 표기 약 5,000시간), 46만 4,431개 에피소드, 약 13억 3천만 프레임이며, 장갑 데이터가 약 3분의 2다. 모델은 Tiny(546만 파라미터)와 Small(2,176만) 두 크기다.
4. Small 인코더를 고정하고 작은 프로브만 학습한 평가에서, 사전학습에 쓰인 Sharpa Wave 센서 기준 손끝 힘 오차는 0.81N, 촉각만으로 같은 순간의 영상 프레임을 찾는 top-5 재현율은 72.6%였다. 센서별 어댑터를 따로 학습한 FTP-1은 각각 2.31N, 16.5%였다.
5. 사전학습에 없던 자기식 센서 모델(XHand1)에서도 파라미터를 바꾸지 않고 힘 오차 1.32N, 재현율 47.1%를 기록했다. 같은 손에 전용 어댑터를 붙인 FTP-1은 3.72N, 6.0%였다. 다만 5개 과제 중 4개에서 XHand1 오차가 Sharpa Wave보다 컸다.
6. 실제 양팔 로봇 26개 과제(Sharpa Wave 20개, XHand1 6개)에서 고정한 Tiny 인코더의 토큰을 정책 입력에 더하자, 26개 과제 평균 성공률은 Diffusion Policy 21.6%에서 35.6%로, π0.5 48.1%에서 69.9%로, LingBot-VLA 48.3%에서 73.1%로, T-Rex 45.4%에서 68.6%로 올랐다. 원시 촉각 신호를 그대로 넣었을 때 상승폭은 6.6-11.2%p였고, 인코더가 더한 파라미터는 T-Rex·π0.5·LingBot-VLA 대비 0.13-0.16%였다.
7. 다만 모든 경우에 나아진 것은 아니다. 104개 과제-정책 조합 중 89개에서 세 설정 가운데 가장 높았고, 9개에서는 원시 촉각 신호 설정보다, 5개에서는 촉각을 넣지 않은 원래 정책보다 낮았다.
8. 시뮬레이션 강화학습 12개 과제에서는 모든 과제에서 성공률과 보상이 가장 높았고, 평균 성공률은 69.0%로 정책과 함께 학습한 촉각 CNN 특징 45.6%, 촉각 없음 21.4%보다 높았다.
9. Small은 사전학습 데이터를 1K에서 5K시간으로 늘릴 때마다 모든 프로빙 과제에서 좋아지거나 유지됐지만, Tiny는 약 4K시간부터 정체되고 5K시간에서는 영상 검색 재현율이 떨어졌다. 데이터를 1,000시간으로 고정하면 한 센서 데이터만 쓴 모델이 자기 센서에서 8개 조합 중 7개에서 여러 센서 혼합 모델보다 나았다고 저자들은 밝혔다.

한계로, 손 두 종류에서만 실험해 더 다양한 손에서 검증이 필요하고, 정전용량식 센서 데이터는 품질 기준을 넘지 못해 사전학습에서 빠졌으며, 손끝 중심이라 손바닥 등 다른 부위 접촉은 충분히 다루지 못한다고 논문은 밝혔다.

깃허브에는 추론용 코드가, Hugging Face에는 Tiny·Small 가중치가 올라와 있다.
프로젝트: https://t.co/DqyMKFCVtP
코드: https://t.co/apf2ghPLHo
가중치: https://t.co/yDZPAEU3xR

#AI논문 #로봇 #촉각

https://t.co/y38ndCgIyt

What changes when robots can feel—not just see? 🤖✋
Meet LingBot-Touch, our open-source tactile foundation model towards dexterous manipulation, pretrained on nearly 5,000 hours of real tactile data.
Through unified heterogeneous tactile modeling, LingBot-Touch supports transfer across sensors, dexte