이진적 성공을 넘어: 미세 조작(Fine-Grained Manipulation)을 위한 진단적 메타 평가 프레임워크

미세 조작(Fine-grained manipulation)은 전역적인 장면 문맥(global scene context)만으로는 더 이상 충분하지 않으며, 성공 여부가 국소적 속성 접지(local attribute grounding), 고충실도 공간 인지(high-fidelity spatial perception), 그리고 제약 조건을 준수하는 운동 실행(constraint-respecting motor execution)의 긴밀한 결합에 달려 있는 영역을 의미합니다. 그러나 현재의 Embodied AI 벤치마크들은 이러한 능력들을 이진적 성공률(binary success rates)로 단순화하여, 보고된 성능을 최대 70%까지 체계적으로 부풀리고 실제 환경 배포를 방해하는 구조적 병목 현상(architectural bottlenecks)을 은폐하고 있습니다. 우리는 조작 역량을 이해(understanding), 인지(perception), 제어된 행동(controlled behavior)이라는 세 가지 축을 따라 분리하는 진단적 메타 평가 프레임워크인 MetaFine을 소개합니다. 구성적 작업 그래프(compositional task graph)를 기반으로 구축된 MetaFine은 이질적인 외부 벤치마크들을 흡수하여, 통일된 프로토콜 하에 다양한 복잡성을 가진 진단 시나리오로 재구성합니다. 이 관점을 통해 최첨단 시각-언어-행동(Vision-Language-Action, VLA) 모델을 평가한 결과, 기존의 지표로는 보이지 않았던 특정 차원에서의 심각한 실패 사례들이 드러났습니다. 표적화된 인과적 개입(causal intervention)을 통해, 우리는 국소적 공간 구조를 보존하는 시각 인코더(visual encoder)의 능력이 미세 정밀도를 위한 핵심 병목 지점임을 확인했습니다. 이를 개선하는 것만으로도 다운스트림 정책(downstream policies)을 수정하지 않고도 이전에는 접근할 수 없었던 조작 능력을 직접적으로 확보할 수 있습니다. 나아가 MetaFine은 제한된 쌍을 이룬 실제 환경 롤아웃(real-world rollouts)을 사용하여 확장 가능한 시뮬레이션 기반 추정치를 보정함으로써, 더 안정적인 물리적 벤치마킹을 위한 하이브리드 실물-시뮬레이션(real-sim) 검증을 지원합니다. 평가의 초점을 순위 매기기에서 진단으로 전환함으로써, MetaFine은 벤치마킹을 진정한 물리적 숙련도(physical dexterity)의 근간이 되는 계층적 능력들을 수리하기 위한 실행 가능한 나침반으로 변화시킵니다. MetaFine 프레임워크, 벤치마크 및 지원 리소스는 프로젝트 페이지(https://metafine.github.io/)를 통해 공개될 예정입니다.