Embodied.cpp

요약

이질적인 로봇 환경에서 동작하는 Embodied AI 전용 C++ 추론 런타임인 Embodied.cpp를 소개합니다. GGUF 가중치를 활용해 엣지 로봇의 CPU, GPU, NPU에서 VLA 및 world-action 모델을 실행할 수 있습니다. 또한 Tencent의 새로운 대규모 MoE 모델인 Hy3의 출시 소식도 포함되어 있습니다.

핵심 포인트

• Embodied.cpp는 로봇 제어를 위한 휴대 가능한 C++ 추론 런타임임
• GGUF 가중치를 지원하여 CPU, GPU, NPU에서 모델 실행 가능
• Tencent의 Hy3 모델은 295B MoE 규모의 강력한 성능을 제공함
• Hy3는 256K 컨텍스트와 개선된 도구 호출 기능을 갖춤