Tri-Info: 정보 이론을 통한 VLA 모델의 일반화 가능하고 해석 가능한 실패 예측
요약
VLA 모델의 실패를 탐지하기 위해 정보 이론을 활용한 Tri-Info 프레임워크를 제안합니다. 이 방식은 행동의 다양성, 시간적 일관성, 상태 전이 결합성을 분석하여 재학습 없이도 다양한 환경에서 높은 정확도로 실패를 예측하고 진단합니다.
핵심 포인트
- 정보 이론적 신호를 활용한 VLA 모델의 실패 탐지 방법론 제안
- 재학습 없이 아키텍처 및 환경 변화에 대응하는 강력한 일반화 성능
- 실제 환경 작업에서 83%의 높은 실패 탐지 정확도 달성
- 실패 모드에 대한 해석 가능한 진단 기능 제공
Vision-Language-Action (VLA) 모델이 다양한 작업에 점점 더 많이 배치되고 있지만, 이들은 여전히 물리적 상호작용이 돌이킬 수 없는 피해를 초래할 수 있는 블랙박스(black box)로 남아 있으며, 이로 인해 일반화 가능하고 해석 가능한 실패 탐지(failure detection)가 필수적입니다. 우리는 성공적인 롤아웃(rollout)과 실패한 롤아웃이 체계적으로 다른 정보 이론적 특징(information-theoretic signatures)을 지닌다는 점을 관찰했습니다. 이를 바탕으로, 우리는 VLA 제어를 폐쇄 루프 정보 파이프라인(closed-loop information pipeline)으로 공식화하고, 행동이 다양성을 유지하는지, 시간적으로 일관되는지, 그리고 상태 전이(state transitions)와 결합되어 있는지를 포착하는 Triple Information-theoretic (Tri-Info) 신호를 도출했습니다. 6개의 VLA 모델과 3개의 벤치마크 환경에 대해 테스트한 결과, Tri-Info는 도메인 내(in-domain)에서 가장 강력한 베이스라인(baseline)들과 대등한 성능을 보였습니다. 더욱이, Tri-Info는 재학습 없이도 아키텍처, 환경, 그리고 sim-to-real 간극(gap)을 가로질러 전이(transfer)되며, 기존 탐지기들이 무작위 확률 수준으로 성능이 저하되는 실제 환경 작업에서 83%의 정확도에 도달했습니다. 이는 Tri-Info가 강력한 교차 도메인 일반화 성능으로 실패를 탐지할 뿐만 아니라, 근본적인 실패 모드(failure modes)에 대한 해석 가능한 진단(diagnostics)을 제공하는 단순하면서도 강력한 방법임을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기