GigaWorld-Policy-0.5는 실시간 로컬 배포를 위한 Mixture-of-Transformers 아키텍처를 사용하여 RTX 4090에서 85ms의 로봇 제어를 실행합니다.

GigaWorld-Policy-0.5는 로컬 RTX 4090에서 85ms의 로봇 제어 추론 (inference)을 실행합니다. Mixture-of-Transformers 아키텍처는 시각적 역학 (visual dynamics)을 액션 생성 (action generation)으로부터 분리하여 실시간 배포를 가능하게 합니다.

주요 사실 (Key facts)

• RTX 4090에서 85ms 추론 지연 시간 (inference latency).
• Mixture-of-Transformers 아키텍처 사용.
• 시각적 역학 (visual dynamics)과 액션 생성 (action generation)을 분리.
• 로컬 실시간 로봇 제어 가능.
• 훈련 또는 벤치마크 세부 사항은 공개되지 않음.

새로운 로봇 제어 정책인 GigaWorld-Policy-0.5는 소비자용 RTX 4090 GPU에서 85ms의 추론 지연 시간을 달성했습니다 @HuggingPapers에 따르면. 이러한 성능은 클라우드 의존성 없이 실시간 제어 루프를 가능하게 하며, 이는 엣지 로보틱스 (edge robotics) 분야의 중요한 진전입니다.

핵심적인 아키텍처 혁신은 시각적 역학 모델링을 액션 생성으로부터 분리하는 Mixture-of-Transformers 설계입니다. 이러한 디커플링 (decoupling)을 통해 모델은 정책의 견고함 (robustness)을 향상시키는 것으로 알려진 기술인 미래 시각 예측 (future visual predictions)을 통해 학습할 수 있는 동시에, 로컬 배포에 충분할 만큼 빠른 추론 속도를 유지할 수 있습니다. 시각적 로봇 정책 (visual robot policies)에 관한 대부분의 이전 연구들은 속도를 위해 장기 예측 (long-horizon prediction)을 희생하거나, 실시간 작동을 위해 데이터 센터 GPU를 필요로 했습니다.

널리 사용되는 GPU에서 85ms를 달성함으로써, GigaWorld-Policy-0.5는 연구실 및 소규모 배포를 위한 저비용 고성능 로봇 제어의 문을 엽니다. 팀은 아직 전체 벤치마크 비교나 어블레이션 연구 (ablation studies)를 공개하지 않았지만, 지연 시간 수치만으로도 동일한 하드웨어 클래스에서 유사한 트랜스포머 기반 정책 (transformer-based policies)들에 대해 보고된 일반적인 150-200ms 추론 시간보다 의미 있는 진보임을 시사합니다.

아키텍처가 보여주는 것

Mixture-of-Transformers 접근 방식은 그 효율성 측면에서 주목할 만합니다. 시각 토큰(visual tokens)과 행동 토큰(action tokens)을 별도의 전문가 경로(expert pathways)를 통해 라우팅함으로써, 모델은 단일 구조의 트랜스포머(monolithic transformers)에서 흔히 발생하는 공동 어텐션 메커니즘(joint attention mechanisms)의 계산 오버헤드를 피합니다. 이는 대규모 언어 모델(LLM)에서 전문가 혼합(Mixture-of-Experts, MoE) 설계가 확장성 측면에서 효과적임이 증명된 트렌드를 반영하지만, 여기서는 지연 시간(latency)에 민감한 로보틱스 분야에 적용되었습니다.

미결 과제 (Open questions)

이번 발표에서 누락된 정보는 다음과 같습니다: 학습 데이터셋의 크기, 파라미터(parameter) 수, 그리고 작업별 성공률(task-specific success rates)입니다. 이러한 정보 없이는 속도 측면의 이점이 정책(policy)의 품질 저하를 대가로 얻은 것인지 불분명합니다. 출처가 된 트윗에서는 85ms라는 수치가 엔드 투 엔드(end-to-end, 센서 입력부터 모터 명령까지)인지, 아니면 단순히 모델의 순전파(forward pass) 시간인지 공개하지 않았습니다.

주목해야 할 점

GeForce RTX 4090

벤치마크 결과가 포함된 전체 기술 보고서나 arXiv 논문을 주목하십시오. 특히 표준 로봇 조작 작업(예: Franka Kitchen, MetaWorld)에서의 성공률과 파라미터 수를 확인해야 합니다. 만약 이 모델이 경쟁력 있는 작업 성공률까지 달성한다면, 엣지 배포 가능한(edge-deployable) 로봇 정책의 새로운 표준을 세울 수 있을 것입니다.

원문 게시: gentic.news