RoboAlign-R1: 로봇 비디오 월드 모델용 정교화된 멀티모달 보상 정렬

요약

RoboAlign-R1은 기존 로봇 비디오 월드 모델의 한계를 극복하기 위해 보상 정렬 후 훈련과 안정화된 장기 추론 기법을 결합한 프레임워크입니다. 이 프레임워크는 RobotWorldBench라는 새로운 벤치마크와 멀티모달 스터디지 Judge를 활용하여 로봇의 명령어 수행, 조작 성공 등 실제 작업 일관성을 높이는 데 중점을 둡니다. 실험 결과, RoboAlign-R1은 기존 최고 성능 모델 대비 전반적인 평가 지표에서 유의미한 점수 향상을 보였으며, 특히 장기 예측 품질을 개선하는 SWR 기법도 효과적임을 입증했습니다.

핵심 포인트

• RoboAlign-R1은 로봇 비디오 월드 모델에 '보상 정렬 후 훈련'과 '안정화된 장기 추론'을 결합하여 실제 작업 수행 능력을 향상시킵니다.
• 새롭게 구축된 RobotWorldBench는 주석 처리된 비디오-명령어 쌍을 포함하며, 로봇의 성능을 세밀하게 평가할 수 있는 벤치마크를 제공합니다.
• 장기적 예측 오류 누적(rollout drift) 문제를 해결하기 위해 Sliding Window Re-encoding (SWR) 기법이 도입되어 장기적인 물리적 현실성을 유지합니다.
• RoboAlign-R1은 명령어 수행 및 조작 정확도 등 핵심 로봇 작업 일관성 지표에서 기존 최고 성능 모델 대비 높은 개선율을 달성했습니다.