GUILD: 모방 학습을 위한 안내 기반 반복 데이터 수집

원문 발행 2026. 11. 04. 03:57원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 연구는 로봇 공학의 모방 학습을 위해 능동적으로 데이터를 수집하는 안내 기반 데이터 수집(GUILD) 방법을 제안합니다. GUILD는 작업 제안과 데이터 평가가 반복되는 프레임워크를 도입하여, 예측적 데이터 기여도 분석으로 정책 성능에 미치는 영향을 추론하고 다음 데이터 수집을 안내합니다. 이를 통해 샘플 효율성과 배포 성능을 크게 개선함을 입증했습니다.

핵심 포인트

GUILD는 모방 학습의 비효율적인 데이터 수집 문제를 해결하는 능동적 프레임워크입니다.
VLM의 의미론적 사전 지식과 예측적 기여도 분석을 결합하여 데이터를 평가합니다.
데이터 수집과 평가가 반복되는 루프를 통해 샘플 효율성을 극대화합니다.
시뮬레이션 및 실제 로봇 환경에서 성능 개선이 입증되었습니다.

로봇 공학에서의 모방 학습(Imitation learning) 정책은 비용이 많이 드는 실제 세계 원격 조작(teleoperation)을 통해 수집된 데이터셋으로 훈련됩니다. 종종 데이터 수집 과정은 안내되지 않아 (unguided), 원격 조작자의 직관에 의존하게 되며, 이는 전체 정책 성능에 기여하는 바가 적은 데이터를 초래합니다. 최근 연구들은 이러한 비안내식(unguided) 데이터셋을 선별하여 정책 성능을 상당히 개선할 수 있음을 보여주었지만, 이 접근 방식들은 이미 수집된 데이터셋을 필터링하는 방식으로 작동하기 때문에 정보 가치가 낮은 데이터의 획득 자체를 막지는 못합니다. 본 연구에서는 다운스트림(downstream) 정책 성능을 극대화하기 위해 어떤 데이터를 수집해야 하는지에 대해 능동적으로 추론하는 새로운 안내 기반 데이터 수집 (Guided Data Collection, GDC) 방법인 GUILD를 제안합니다. 우리는 루프를 닫기 위해 1) 작업 제안 및 데이터 수집과 2) 데이터 평가가 번갈아 이루어지는 반복적인 프레임워크를 도입합니다. 작업 제안을 위해, 우리는 비전-언어 모델(vision-language models)의 의미론적 사전 지식(semantic priors)을 활용하여 데이터 수집에 관련된 환경, 객체 구성 및 목표를 식별합니다. 하지만 의미론적 관련성이 정책 개선을 의미하지는 않기 때문에, 우리는 데이터 평가를 수행합니다. 예측적 데이터 기여도 분석(predictive data attribution)을 활용하여 수집된 궤적이 특정 배포 설정에서의 정책 성능에 어떻게 영향을 미치는지 근사화합니다. 이 신호는 이후의 데이터 수집을 안내하는 피드백으로 사용되어, 데이터 수집 루프를 닫습니다. 우리는 시뮬레이션 및 실제 로봇 환경에서 우리의 접근 방식을 평가했으며, 능동적인 데이터 수집 전략, 여러 기준 모델(baselines), 그리고 숙련된 로봇 공학자들과 비교했을 때 안내 기반 데이터 수집이 샘플 효율성 및 배포 성능을 상당히 개선함을 입증했습니다. 더 자세한 정보는 https://robin-lab.cs.utexas.edu/guild2026/ 에서 확인하실 수 있습니다.

AI 자동 생성 콘텐츠

원문 바로가기

GUILD: 모방 학습을 위한 안내 기반 반복 데이터 수집

요약

핵심 포인트

댓글