HumanCLAW: 시각-언어 모델(Vision-Language Models)이 신체를 통해 행동할 수 있는가?

요약

Meta와 공동 연구진이 시각-언어 모델(VLM)의 체화된 행동 능력을 평가하는 새로운 벤치마크인 HumanCLAW를 발표했습니다. 연구 결과, 현재의 VLM은 신체에 대한 자기 인식 능력이 부족하여 행동 결정 과제에서 매우 낮은 성능을 보였습니다.

핵심 포인트

• HumanCLAW 벤치마크: 행동 결정과 운동 제어를 분리하여 평가
• VLM의 한계: 최고 성능 모델도 16.8%의 낮은 성공률 기록
• 체화된 자기 인식 부족: 모델이 제어하는 신체를 추적하지 못함