UR-VC: 시간 기반 진행도 대리 변수(Proxy)를 위한 비지도 로봇 가치 보정
요약
본 논문은 로봇 학습 시스템의 진행도 평가를 위해 시간 기반 레이블이 사용되는 한계를 지적하며, 이를 보완하는 Unsupervised Robotic Value Correction (UR-VC) 방법을 제안합니다. UR-VC는 시연 데이터 내 유사한 상태들의 시간 기반 레이블을 집계하여 노이즈가 많은 물리적 작업 진행도를 오프라인으로 보정합니다. 이 방법은 추가적인 라벨링이나 모델 없이도 로봇의 실제 작업을 개선하는 데 효과적임을 입증했습니다.
핵심 포인트
- UR-VC는 유사 상태의 시간 기반 레이블을 집계하여 진행도를 보정합니다.
- 추가한 수동적 라벨링, 보상 주석 등이 필요 없는 비지도 방법입니다.
- 접촉이 풍부한 조작 작업에서 국소적인 퇴행과 비균일성을 포착합니다.
- VLA 학습의 가산점 레이블 구성에 활용되어 로봇 작업 성공률을 높였습니다.
현대 로봇 학습 시스템은 중간 상태를 평가하고, 정책 학습을 안내하며, 작업 완료를 감지하기 위해 밀집된 진행도 또는 가치 신호에 점점 더 의존하고 있으며, 이는 이러한 신호의 품질이 매우 중요함을 의미합니다. 그러한 밀집 레이블은 대규모로 얻기 어려운 경우가 많아, 시연(demonstration) 내의 정규화된 시간(normalized time)이 확장 가능한 대체재로 자주 사용됩니다: 나중 프레임일수록 더 높은 진행도로 간주됩니다. 그러나 이 시간 기반 레이블은 물리적 작업 진행도에 대한 노이즈가 많은 대리 변수일 뿐입니다. 접촉이 풍부한 조작(contact-rich manipulation)에서, 로봇은 미끄러짐(slips), 실패한 파지(failed grasps), 또는 부분적인 되돌림을 통해 진행도를 얻었다가 잃을 수 있지만, 시간 기반 레이블은 계속 단조롭게 증가합니다. 우리는 시간 기반 진행도 레이블을 보정하는 오프라인의, 학습이 필요 없는 방법인 Unsupervised Robotic Value Correction (UR-VC)을 소개합니다. UR-VC는 시연 데이터에 존재하는 간단한 규칙성(regularity)을 활용합니다: 유사한 상태가 다른 에피소드 전반에 걸쳐 반복되지만, 서로 다른 타임스탬프에서 발생한다는 것입니다. 단일 궤적(trajectory)의 타임스탬프를 신뢰하는 대신, UR-VC는 다른 에피소드에서 유사한 상태들을 검색하고 그들의 시간 기반 레이블을 집계하여 보정된 진행도 추정치를 얻습니다. UR-VC는 수동적인 진행도 레이블, 보상 주석(reward annotations), 또는 추가 가치 모델이 필요하지 않습니다. 우리는 눈에 보이는 중간 진행도가 있는 장기 지평선 변형 객체 조작 작업인 실제 양손 옷 펼치고 접기 데이터에서 UR-VC를 평가합니다. 보정된 레이블은 정규화된 시간이 표현할 수 없는 국소적인 퇴행(local regressions)과 비균일한 진행도를 포착하는 동시에, 전체 작업 추세를 유지합니다. 나아가 우리는 이 보정된 신호를 사용하여 최근의 가산점 조건부 정책 학습(advantage-conditioned policy learning)을 따라 VLA 학습을 위한 가산점 레이블을 구성합니다. UR-VC는 일치하는 데이터, 모델 및 학습 설정 하에서 실제 로봇 작업 성공에 긍정적인 추세를 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기