민첩한 조작 작업용 촉각 사전 학습에서 잠재 예측이 재구성보다 우수하다[R]

Robbyant의 새로운 논문이 공개되었으며, 추론 코드와 체크포인트도 이미 공개되었습니다. LingBot-Touch는 JEPA 스타일로 훈련된 자기 지도(self-supervised) 촉각 인코더입니다. 이 모델은 원시 센서 신호를 재구성하는 대신 마스크 처리된 접촉의 잠재 표현을 예측합니다. 해당 논문에서는 동일한 데이터셋에 대해 같은 크기의 MAE 및 VAE 재구성 모델과 비교 테스트를 수행했습니다.

촉각-비디오(Tactile-to-video)의 1K 시간에서의 top-5 재현율은 JEPA가 32.1%를 기록한 반면, MAE는 5.6%, VAE는 4.4%였습니다. 4K 시간에서는 JEPA가 49.3%에 도달했고 MAE는 9% 미만을 유지했지만, VAE는 오히려 성능이 떨어져 3.1%까지 하락했습니다. 그들의 설명에 따르면, 촉각 클립의 대부분은 거의 제로(near-zero) 배경이기 때문에 재구성 손실(reconstruction loss)이 실제 접촉에 대한 아무것도 학습하지 않고도 줄어들 수 있습니다.

두 가지 설계 선택이 눈에 띄었습니다. 마스킹 비율(masking ratio)은 높은 마스킹으로 시작할 경우 희소 신호 내의 모든 접촉하는 taxel을 가리고 그래디언트 폭발(gradient explosions)을 유발했기 때문에, 300 스텝에 걸쳐 40%에서 80%로 점진적으로 증가했습니다. 세 가지 센서 유형(자기장식(magnetic), 압저항성(piezoresistive), 시각촉각(visuotactile))이 5D RoPE (시간, 손가락, 3D 위치)를 통해 표준 지문 끝 좌표로 하나의 공유 트랜스포머(Transformer)에 입력됩니다. 4가지 정책을 가진 26개의 실제 로봇 작업에서, 고정된 인코더 특징(frozen encoder features)은 104개의 정책 및 작업 조합 중 89개에서 가장 높은 점수를 기록했습니다.

사전 학습에서 본 적 없는 자기장 손(magnetic hand)에 대해, LingBot-VLA는 57.21에서 75.04로 향상되었습니다. Tiny 모델은 약 4K 시간에서 성능이 정체되는 반면 Small 모델은 계속 개선되고 있으므로, 더 많은 데이터로 훈련된 더 큰 버전이 자연스러운 다음 단계로 보입니다.

/u/Zealousideal-War7154가 제출했습니다 [link] [comments]