VLA가 서로 다르게 실패하는 방식: 블랙박스 동작 모니터링을 통한 아키텍처별 실패 시그니처 규명

우리는 VLA (Vision-Language-Action) 아키텍처가 모터 명령 (motor-command) 수준에서 근본적으로 다르고 예측 가능한 방식으로 실패한다는 것을 발견했습니다. 동일한 평가 프로토콜 (PushT 및 ALOHA 14-DOF 양손 조작에 걸쳐 n=450 에피소드)에서 VQ-BeT, Diffusion Policy, 그리고 ACT를 실행한 결과, 다음과 같은 사실을 확인했습니다: (1) 방향 반전율 (direction reversal rate)은 세 아키텍처 모두에서 보편적인 실패 예측 인자입니다 (AUROC=0.93, 0.79, 0.91; p<0.001); (2) 저크 (jerk) 모니터링은 이산 토큰 (discrete-token) 아키텍처에 대해서만 예측력을 가지며, 이산에서 연속으로 이어지는 기울기를 따릅니다 (0.88, 0.69, 0.41); (3) 속도 위반 (velocity violations) 단독으로는 모든 곳에서 예측력이 없으나 (AUROC 0.41-0.69), 속도 체크는 VLA 배포 코드에서 가장 흔한 안전 메커니즘입니다; (4) 연속 계열 (continuous-family) VLA의 경우, 속도 모니터링은 사실상 예측 신호를 전혀 제공하지 못하며 (ACT에서 AUROC=0.52, Diffusion에서 0.41), 이는 아키텍처에 맞춘 모니터 선택이 필수적임을 입증합니다. 이러한 결과는 잘 알려진 이산/연속 VLA 구분에서 발생하는 모니터링의 결과를 정량화합니다: 두 계열은 서로 다른 모니터를 필요로 하는 질적으로 다른 실패 시그니처 (failure signatures)를 생성합니다. 단일 모니터가 보편적으로 작동하지 않으며, 아키텍처에 맞춘 선택이 요구됩니다. 이 발견은 conformal calibration을 갖춘 훈련이 필요 없는 블랙박스 동작 모니터링 툴킷인 SafeContract를 통해 가능했습니다. 코드: https://github.com/krishnam94/vla-edge