DexHoldem: 숙련된 Embodied System을 이용한 텍사스 홀덤 플레이

실제 숙련된 (dexterous) 하드웨어에서 Embodied System (체화된 시스템)을 평가하려면 단순히 고립된 원시 기술 (primitive skills) 이상의 것이 필요합니다. 에이전트는 변화하는 테이블탑 장면을 인지하고, 문맥에 적합한 행동을 선택하며, 숙련된 손으로 이를 실행하고, 이후의 의사결정을 위해 장면을 사용 가능한 상태로 남겨두어야 합니다. 우리는 ShadowHand를 이용한 텍사스 홀덤 숙련 조작 (dexterous manipulation)을 중심으로 구축된 실세계 시스템 레벨 벤치마크인 DexHoldem을 소개합니다. DexHoldem은 14가지 텍사스 홀덤 조작 원시 기술 (manipulation primitives)에 걸친 1,470개의 원격 조작 (teleoperated) 시연 데이터, 표준화된 물리적 정책 (physical policy) 벤치마크, 그리고 에이전트가 Embodied 의사결정에 필요한 구조화된 게임 상태를 복구할 수 있는지 테스트하는 에이전트 인지 (agentic perception) 벤치마크를 제공합니다. 원시 기술 실행 측면에서 $π_{0.5}$가 가장 높은 작업 완료율 ($61.2%$)을 기록했으며, 장면 보존 성공률 (scene-preserving success rate)에서는 $π_{0.5}$와 $π_0$가 동일한 수치 ($47.5%$)로 공동 1위를 차지했습니다. 에이전트 인지 측면에서는 Opus 4.7이 가장 높은 엄격한 문제 수준 정확도 (strict problem-level accuracy, $34.3%$)를 얻은 반면, GPT 5.5는 가장 높은 평균 필드별 정확도 (average field-wise accuracy, $66.8%$)를 기록하여, 고립된 시각적 하위 능력 (visual sub-capabilities)과 완전한 라우팅 관련 상태 복구 (routing-relevant state recovery) 사이의 격차를 드러냈습니다. 마지막으로, 우리는 세 가지 사례 연구를 통해 전체 Embodied-Agent 루프를 구현하였으며, 여기서 대기, 복구 파견 (recovery dispatches), 인간 도움 요청, 그리고 반복적인 원시 기술 실행은 폐쇄 루프 (closed-loop) 배포 중에 인지 및 정책 오류가 어떻게 누적되는지를 보여줍니다. 따라서 DexHoldem은 공유된 물리적 환경에서 숙련된 테이블탑 실행, 에이전트 인지, 그리고 Embodied 의사결정 라우팅을 평가합니다. 프로젝트 페이지: https://dexholdem.github.io/Dexholdem/.