인간-로봇 협업을 위한 인간 피드백 기반 강화학습에 대한 범위 검토 및 실험 연구

인간-로봇 협업(HRC)은 산업 4.0에서 대량 맞춤화를 촉진할 수 있으며, 인간 피드백 기반 강화학습(RLHF)은 안전한 AI 기반 로봇 개발을 위한 유망한 접근 방식을 나타냅니다. 그러나 AI 개발 과정에서의 안전성, 인간 피드백의 품질, 양방향 인간-로봇 적응과 관련하여 실질적인 과제들이 남아 있습니다. 우리는 HRC 시스템에서 RLHF에 대한 범위 검토를 수행하여 이러한 과제들을 다루는 방법론들을 매핑했습니다. PRISMA 가이드라인을 따라 199개의 기록을 선별했으며, 여러 HRC 도메인을 아우르는 2020년부터 2025년까지의 동료 심사 논문 20편을 포함했습니다. 저희가 알기로 이것은 RLHF의 양방향적이고 폐쇄 루프(closed-loop) 설계를 초점으로 한 최초의 검토입니다. 우리의 검토 결과는 다양한 피드백 형식에서 데이터 수집을 가능하게 하는 여러 피드백 양식들을 발견했습니다. 수집된 데이터는 AI 훈련의 여러 단계에 통합될 수 있으며, 이는 다단계 개발 프로세스로 이어집니다. 파일럿 실험은 인간과 로봇 메트릭 모두를 기반으로 HRC 시스템을 평가하는 데 일반적으로 사용됩니다. 검토에서 확인된 핵심 격차(gap)를 경험적으로 테스트하기 위해, 우리는 안전한 내비게이션을 위한 로봇의 근접 행동에 대해 시스템 주도 및 사용자 주도 피드백을 비교하는 대상 간 VR 실험을 수행했습니다. 베이즈 모델을 사용하여 수집된 피드백과 안전 메트릭(심리적 안전성(실험 후 설문지) 및 물리적 안전성(역 충돌 시간)) 사이의 관계를 분석했습니다. 결과는 사용자 주도 피드백이 시스템 주도 피드백보다 인식된 안전성을 더 잘 포착하며, 이는 피드백 시점이 피드백 품질에 직접적인 영향을 미친다는 것을 나타냅니다. 우리의 검토 및 실험 결과는 HRC에서 AI 안전을 보장하기 위해 RLHF가 적절한 피드백 방법에 의존한다는 것을 보여주며, 향후 RLHF 연구는 관련 인간 및 로봇 메트릭에 대한 피드백 수집 방법의 영향을 평가하는 현실적인 HRC 실험을 우선시해야 합니다.