희소한 인간 가이던스를 활용한 실제 환경 모바일 조작을 위한 계층적 잔차 정책 학습

원문 발행 2026. 10. 15. 02:59원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 복잡한 모바일 매니퓰레이션(MoMa) 시스템을 실제 환경에서 안정적이고 샘플 효율적으로 미세 조정하기 위한 HiRe-MoMa 프레임워크를 제안합니다. 이 프레임워크는 계층적 잔차 아키텍처와 정책 불가지론적 보정값을 활용하여 그래디언트 간섭을 줄입니다. 또한, 희소한 인간 가이던스를 이용해 학습 효율성을 높이는 방법을 제시했습니다.

핵심 포인트

HiRe-MoMa: MoMa 시스템의 실제 환경 미세 조정을 위한 프레임워크.
계층적 잔차 아키텍처로 기본 정책 위에 보정값을 추가하여 안정성 확보.
정책 불가지론적 접근으로 그래디언트 간섭을 완화하고 물리적 계층 구조에 맞춤.
희소한 인간 가이던스를 활용해 데이터 비용을 줄이고 학습 효율성을 개선함.

모바일 매니퓰레이션(Mobile Manipulation, MoMa)은 자율 로봇 시스템의 초석이지만, 고차원 액션 공간과 이질적인 모듈 간의 복잡한 결합으로 인해 실제 환경에서의 미세 조정(fine-tuning)은 여전히 어려운 과제입니다. 본 논문에서는 복잡한 MoMa 시스템을 안정적이고 샘플 효율적으로 실제 환경에서 미세 조정하기 위한 체계적인 프레임워크인 HiRe-MoMa (Hierarchical Residual Mobile Manipulation)를 제안합니다. 핵심적으로, HiRe-MoMa는 고정된 기본 정책(base policy)을 미세 조정하는 계층적 잔차 아키텍처(Hierarchical Residual Architecture)를 채택합니다. 정책 불가지론적 잔차(Policy-Agnostic Residual)는 기본 정책 위에 가산적인 보정값(additive corrections)을 학습하며, 계층적 디커플링(Hierarchical Decoupling)은 이 잔차를 모바일-베이스와 매니퓰레이터-암 헤드로 분할하고 단방향 조건화(unidirectional conditioning)를 적용하여 그래디언트 간섭을 완화하고 보정값을 플랫폼의 물리적 계층 구조에 맞춥니다. 데이터 비용이 많이 드는 실제 환경 설정에서 샘플 효율성을 개선하기 위해, 우리는 전문가 가이드 값 정렬(Expert-Guided Value Alignment)을 제안합니다. 이는 20% 미만의 학습 커버리지로 희소한 인간 개입을 활용하여 크리틱(critic)의 값 지형(value landscape)을 재구성함으로써, 전문가 사전 정보(expert priors)를 통해 자율 탐색을 효과적으로 안내합니다. TIAGo++ 플랫폼에서의 광범위한 실제 실험은 HiRe-MoMa가 기본 정책 아키텍처에 관계없이 단지 약 30분간의 온라인 상호작용만으로도 일관되게 작업 성능을 향상시킨다는 것을 입증했습니다. 본 연구진이 아는 한, 이는 실제 환경에서 모바일 매니퓰레이션을 위한 효율적인 로봇 온보드(on-robot) 미세 조정을 가능하게 하는 최초의 프레임워크 중 하나이며, 동적이고 인간 중심적인 환경에 복잡한 로봇 시스템을 배치하기 위한 실용적인 패러다임을 제공합니다. 더 자세한 내용은 저희 프로젝트 웹사이트에서 확인할 수 있습니다: https://hire-moma.github.io/

AI 자동 생성 콘텐츠

원문 바로가기

희소한 인간 가이던스를 활용한 실제 환경 모바일 조작을 위한 계층적 잔차 정책 학습

요약

핵심 포인트

댓글