LLM 서빙을 넘어: 체화된 AI 시스템 설계를 위한 비전-언어-행동 워크로드 특성화

요약

본 논문은 비전-언어-행동(VLA) 모델이 로봇 작동 환경에서 직면하는 실시간 추론 및 행동 제어 문제를 다룹니다. 특히, 온디바이스/엣지 실행 환경의 배치-1 추론 요구사항을 분석하고, 다양한 하드웨어 플랫폼에서의 VLA 모델 특성화를 수행했습니다. 연구 결과는 정확도, 속도, 에너지 간의 복잡한 트레이드오프를 보여주며, 아키텍처와 런타임 정책의 공동 설계를 제안합니다.

핵심 포인트

• VLA 모델은 로봇 작동 중 실시간 배치-1 추론을 요구한다.
• 추론 마감 시간 준수는 온디바이스/엣지 실행 환경에서 중요하다.
• 행동 텐서 차원은 메모리 또는 컴퓨트 바운드를 결정한다.
• 폐루프 작동은 정확도-속도-에너지의 복잡한 트레이드오프를 만든다.