DexDICE: 이중 전문가를 통한 안전성 및 성능 조정 오프라인 모방 학습

요약

오프라인 모방 학습(IL)에서 안전성과 높은 성능을 동시에 확보하는 것이 핵심 과제입니다. 본 논문은 안전 준수 시연과 고성능 시연이라는 두 가지 전문가 데이터를 활용하는 DexDICE를 제안합니다. DexDICE는 안전 지원 제약 조건을 결합하여 에이전트가 안전 영역 내에서 최적의 행동을 학습할 수 있음을 입증했습니다.

핵심 포인트

• 기존 IL 방식의 비용 함수 설계 어려움 및 데이터 의존성 문제를 해결함.
• 안전 준수와 고보상을 결합한 '이중 전문가' 학습 프레임워크를 도입.
• DexDICE는 안전 지원 제약 조건(safe support constraints)을 활용하여 안정성을 보장.
• 실제 모바일 로봇 내비게이션 등에서 베이스라인 대비 우수한 성능과 강건함을 입증함.