검색 기반 추측 및 하드웨어 가속을 통한 효율적인 VLA 추론

요약

본 논문은 VLA 모델의 자원 제약적 추론 지연 시간을 해결하기 위해 하드웨어-소프트웨어 공동 설계 프레임워크 Zora를 제안합니다. Zora는 비용 효율적인 RAG 기반 draft 모델을 도입하고, 전용 하드웨어인 Zora core를 통해 메모리 불규칙성 문제를 해결했습니다. 그 결과, 소프트웨어만으로 최대 3.4배, 하드웨어 지원 시 GPU 대비 최대 7.6배의 속도 향상을 달성했습니다.

핵심 포인트

• Zora는 RAG 기반 draft 모델을 활용하여 기존 방식보다 비용 효율적입니다.
• 전용 하드웨어 Zora core가 RAG 기반 drafting의 메모리 불규칙성을 해결합니다.
• 소프트웨어만으로 최대 3.4배, 하드웨어와 함께 7.6배의 속도 향상을 입증했습니다.
• 키네마틱스 가이드 전략과 KV-cache 공유로 배치 검증 오버헤드를 줄였습니다.