로봇 조작을 위한 자유 형식 선호 학습 (Freeform Preference Learning)

요약

로봇의 장기 조작 작업을 위해 자연어 선호 축을 활용하는 자유 형식 선호 학습(FPL) 방법을 제안합니다. 기존의 이진 선호도 방식보다 정교한 보상 모델 학습이 가능하며, 다양한 환경에서 성능을 크게 향상시켰습니다.

핵심 포인트

• 자연어 선호 축(속도, 안전성 등)을 통한 정교한 보상 설계
• 기존 이진 선호도 방식 대비 성능 38%p 향상
• 명시적 하위 작업 분할 없이도 조밀한 진행 신호 학습 가능
• 재학습 없이 테스트 시점에 사용자의 의도대로 정책 유도 가능