마스크 깊이 모델링 (Masked depth modeling)의 핵심 아이디어는 무작위 블록 드롭아웃 (random block dropout)을 사용하는 대신, 센서 자체의 누락된 영역을 마스킹 신호로 취급하는 것입니다. 정반사 (Specular highlights), 투명한 표면, 그리고 RGB-D 카메라가 유효한 깊이 값을 반환하지 않는 질감이 없는 영역 (textureless areas)이 자연스러운 학습 대상이 됩니다. 따라서 모델은 추론 시 직면하게 될 실패 분포 (failure distribution)를 정확하게 학습하게 됩니다. Ant Group 산하의 로봇 AI (embodied AI) 기업인 Robbyant는 LingBot-Depth 2.0에서 이러한 프레임워크를 설명합니다.

버전 2.0은 인코더 초기화 (encoder initialization)와 데이터 규모를 제외하고는 학습 레시피 (training recipe)에 아무런 변화를 주지 않았습니다. 여기서 인코더 초기화 (encoder-init) 연구는 깔끔한 실험이 됩니다. 동일한 MDM 파이프라인과 동일한 데이터 큐레이션(data curation)을 사용하되, 사전 학습된 백본 (pretrained backbone)만 교체했습니다. 논문에 따르면, LingBot-Vision 초기화는 ViT-L 규모에서 거의 모든 벤치마크를 석권했으며, ViT-g 규모에서도 대부분의 벤치마크에서 승리했습니다. 단 한 가지 예외로, Hammer 캡처 데이터에서는 DINOv2가 우위를 유지했습니다. 그들의 스케일링 수치 (scaling figure)에 따르면, 데이터 규모가 커질수록 격차는 희석되지 않고 오히려 더 벌어집니다. 이들은 3개의 캡처 세트(Hammer D435/L515/ToF, ClearGrasp D415/D435, 그리고 자체 D415/D435/D455 세트)에 걸쳐 8개의 블록 마스크 및 희소 벤치마크 중 7개, 그리고 8개의 실제 카메라 구성 중 6개에서 최적의 RMSE를 기록했다고 보고했습니다. 특히 투명 물체 ClearGrasp 캡처에서 가장 강력한 수치를 기록했으며, 블록 마스킹된 DIODE-Indoor RMSE는 1.0 버전 대비 약 절반 수준으로 감소했습니다. 첨부된 이미지들은 논문의 스크린샷(표 6, 7, 8 및 정성적인 거울/유리 포인트 클라우드(point-cloud) 그림)입니다. 대화형 포인트 클라우드 데모는 프로젝트 페이지에서 확인할 수 있습니다.

Depth 2.0 가중치 (weights)는 공개되지 않았으므로, 이러한 완성 수치들을 독립적으로 재현할 수는 없습니다. 오직 4개의 Vision 백본만이 Apache-2.0 라이선스 하에 공개되어 있으며, 논문과 오픈 가중치(open weights)가 호스팅되어 있는 https://github.com/robbyant/lingbot-vision 에서 확인할 수 있습니다. 표시된 렌더링은 벤더의 비교 페이지에서 가져온 것입니다.

센서 유효성 마스킹 (sensor-validity masking)이 라이다 (lidar)나 열화상 (thermal)과 같은 다른 감지 모달리티 (sensing modalities)에서도 무작위 마스킹 (random masking)을 이길 수 있을까요? 그것이 이 프레임워크가 실제로 얼마나 일반적인지를 테스트하는 방법이 될 것입니다.

제출자: /u/Ok-Line2658 | 커뮤니티: r/MachineLearning
[link] [comments]