순수 디지털 인공지능이 유형의 3차원 세계로 전환하는 과정—Physical AI로 확립된 영역—은 심각한 물리적 병목 현상에 직면해 있습니다. 대화형 비서가 문장을 출력하는 데 수백 밀리초를 허용하는 것과는 달리, 산업용 로봇 매니퓰레이터와 인체형 팔은 40Hz 이상의 폐쇄 루프 제어 메쉬(25밀리초 미만의 주기)를 요구합니다. 지금까지 비전-언어-행동 (Vision-Language-Action - VLA) 아키텍처는 마비시키는 이분법에 시달렸습니다. 시간적 메모리가 없는 모델은 순간적인 시각 프레임(single-frame)에만 작용하여, 가려짐(occlusion) 상황에서 지각적 에일리어싱 (aliasing perceptual) 현상에 빠지고 두 자세 사이를 무한히 진동했습니다. 반면에 여러 개의 과거 비디오 프레임을 시각 인코더에 직접 주입하는 모델은 메모리의 기하급수적 폭발과 금지된 지연 시간(latency)을 겪었습니다. 프랑스 Kyutai 연구소에서 Inria 및 École des Ponts와 과학 협력을 통해 개발한 Kyutai REKI의 공식 발표는 이 난관을 수학적인 우아함과 Hugging Face에 즉시 공개된 오픈 가중치로 해결합니다.
총 24억 개의 파라미터로 구성된 간결한 토폴로지를 갖추고 있으며 — 22억 개의 파라미터를 가진 비전 및 언어 백본(backbone)과 Flow Matching 기반의 2천만 개 파라미터 액션 전문가(action expert)를 연결하는 방식으로 — REKI는 32개의 학습된 레지스터 토큰(learned register tokens)을 통한 전례 없는 단기 에피소드 메모리 아키텍처를 도입합니다. 과거 프레임의 원시 비전 텐서를 재처리하는 대신, 이 레지스터들은 액션 전문가 내부에만 상주하며, 마지막 3초간의 스테레오스코픽 관찰을 프레임당 단 2 MiB의 VRAM 메모리 비용으로 압축하고, 단일 NVIDIA H100 GPU에서 컴파일된 추론 주기인 21.8 밀리초에 단 0.1밀리초만 추가합니다. 그 결과는 명확합니다: REKI는 RoboTwin 벤치마크에서 로봇 팔의 병리학적 진동 에피소드를 18.6%에서 4.1%로 줄였으며, 파라미터 개수가 거의 두 배에 달하는 정책들을 능가하며 LIBERO-Plus에서 90.4%의 성공률로 종합 리더십을 차지했습니다.
Arquitetura Kyutai REKI 2.4B VLA: Backbone VLM, 32 Registradores e Flow Matching
1. 사실과 뉴스: 100% 공개 데이터로 구현하는 시각운동 로봇공학의 민주화
Kyutai REKI(BF16 정밀도의 공식 체크포인트 6개가 이미 다운로드 가능함)의 등장은, 최첨단 시각운동 정책이 수천 대의 로봇을 이용해 폐쇄적인 원격 조종 데이터를 수집하는 비밀스러운 독점 군단을 필요로 한다는 산업적 신화를 무너뜨립니다. REKI의 모든 사전 학습 단계는 공개된 공개 저장소에서 엄격하게 진행되었으며, 총 10억 개의 비전 프레임과 1220만 개의 비전 및 언어 멀티모달 샘플을 활용했습니다.
20만 개의 스텝에 걸쳐 단 32개의 H100 가속기 클러스터에서 실행된 사전 학습 코퍼스 구성은 엄격한 운동학적(cinematic) 큐레이션을 반영합니다:
-
실제 물리 로봇의 원격 조작 (6억 3,980만 프레임): DROID, BridgeData V2, 그리고 AgiBot World의 공개 아카이브에서 추출된 양손 및 인간형(anthropomorphic) 궤적을 통합했으며, 이에는 변형 가능한 물체 파지, 서브밀리미터 정밀도 삽입, 무질서한 작업대에서의 관절 조작이 포함됩니다.
-
결정론적 물리 시뮬레이션 환경 (1억 9,390만 프레임): 텍스처, 조명 및 접촉 마찰의 확률적 변화를 가진 물리 엔진에서 생성된 에피소드들로, 정책이 분포 이탈(Out-of-Distribution - OOD)에 대비할 수 있도록 합니다.
-
인간 조작의 자아 중심 비디오 (1억 7,090만 프레임): EgoDex와 EgoVerse 세트에서 가져온 1인칭 시퀀스로, 백본(backbone) 비전이 운동 의도 및 눈-손 협응에 대한 물리적 사전 지식(priors)을 운동학적으로 결합하기 전부터 흡수할 수 있게 합니다.
Kyutai, Inria, École des Ponts 연구원들이 채택한 중요한 엔지니어링 결정은, 최종 효과기 델타 자세 공간(end-effector delta pose)과 관절 각도 공간(joint space) 사이의 인위적인 통합 재매핑을 강요하기보다, 사전 학습 기간 동안 각 데이터셋의 네이티브 제어 규칙을 보존하는 것이었습니다. 각 로봇 형태는 전용 상태 다층 퍼셉트론(state MLP)과 적응형 정규화 계층(AdaRMSNorm)에 연결된 액션 전문가(action specialist)를 통해 진입하며, 이는 Universal Robots UR5와 같은 실제 하드웨어에서 미세 조정 시 깨끗한 전이를 보장합니다. 이 경우 단 50개의 데모와 1시간의 학습(3,000 스텝)만으로도 운영적 수렴에 도달하기에 충분했습니다.
2. 실제 벤치마크 대결: 로봇 조작 및 경계 오케스트레이션에서의 정면 충돌
Kyutai REKI 2.4B의 과학적 검증은 현대 로보틱스의 가장 엄격한 테스트 스위트인 LIBERO-Plus, LIBERO (4개 스위트), RoboTwin 2.0 (Clean2Rand, Easy 및 Hard), 그리고 RoboCasa365를 기반으로 이루어졌습니다. 이는 현재 세대의 주요 시각-운동 정책들인 Qwen-RobotManip (4.7B), Physical Intelligence π0.5 (3.3B), AMAP ABot-M0 (4.6B), 그리고 RLDX-1과 직접적으로 대결합니다.
동시에, Physical AI의 계층적 산업 아키텍처(여기서 경계 모델이 상위 수준 의미론적 플래너로 작용하여 복잡한 명령을 하위 작업으로 분해하고 이를 45Hz의 VLA 컨트롤러를 통해 gRPC로 소비하는 경우)에서는, 이 생태계가 현재 세대의 활성 엔진들인 GPT-6 Astra, Claude Fable 5.1, DeepSeek 4.1, 그리고 Gemini 3.8 Flash Cyber를 통합하여 평가됩니다.
Batalha de Benchmarks: Kyutai REKI 2.4B VLA vs Políticas Visuomotoras Contemporâneas
다음 표는 로봇 조작 및 컴파일된 실행 지연 시간의 직접적인 비교를 요약합니다:
| VLA 시각-운동 정책 | 총 파라미터 | 네이티브 시간 메모리 | LIBERO-Plus (OOD) | RoboTwin Clean2Rand | RoboCasa365 | H100 지연 시간 (청크) |
|---|
| Kyutai REKI 2.4B VLA | 2.4B (2.2B + 0.2B) | 32 레지스터 (3 프레임) | 90.4% (#1) | 65.8% | 38.4% | 21.8 ms |
| ... | | | | | | |
계층적 인지 오케스트레이션(orquestração hierárquica cognitiva) 계층을 분석할 때(여기서 경계 모델이 공장 바닥의 시각적 이상을 해석하고, 충돌 제한을 재프로그래밍하며, 구조화된 프롬프트를 VLA 전문가에게 전송하는 경우), 동시대적인 경계 쌍들 간의 대결은 구현의 시너지를 보여줍니다:
| 고수준 인지 계획기 | 공간 분해 및 하위 목표 | MCP/Voxel51 에이전트 통합 | 물리적 오류 복구율 | REKI 2.4B와의 이상적인 결합 |
|---|
| Claude Fable 5.1 (Anthropic) | 88.4% | 네이티브 (MCP 2.0 Mesh) | 91.2% | 정밀 시각 검사 및 양손 재계획 |
| ... | | | | |
| 기술 보고서에서 추출된 수치들은 세 가지 공학적 이정표를 입증합니다: | | | | |
-
절반 크기에서의 분포 외 우수성 (Out-of-Distribution Superiority): 까다로운 벤치마크 LIBERO-Plus에서 Kyutai REKI는 **90.4%**를 기록하며, Qwen-RobotManip de 4.7B (89.0%)를 능가하고 Physical Intelligence의 π0.5 (85.7%)보다 4.7 퍼센트 포인트 앞서 나갔습니다. 공공 데이터로 수행된 다양한 사전 학습은 Clean2Rand에서 단독으로 +13.8 포인트를 추가하며, 심각한 무질서 환경(clutter) 시나리오에서는 인상적인 +30.3 포인트를 기록했습니다.
-
자세 진동(Pose Oscillation, Perceptual Aliasing) 제거: 대칭적이거나 일시적인 시각 가림(예: 장애물을 돌아가거나 용기가 이미 검사되었는지 결정할 때)이 있는 작업에서 메모리가 없는 정책은 자신이 어느 방향에서 왔는지 잊어버리고 기계적 루프에 빠집니다. REKI의 32개 레지스터 메모리는 RoboTwin에서 진동 에피소드 비율을 18.6%에서 4.1%로 낮추고, RoboCasa365 점수를 +5.4 포인트 높였습니다.
-
사이클 시간에서의 절대적 리더십 (21.8 ms): 두 개의 RGB 카메라 256x256 (상단 및 손목)를 사용하여 BF16 정밀도로 torch.compile과 컴파일했을 때, REKI는 완전한 행동 블록을 21.8 ms에 제공합니다. 이는 π0.5 (33.8 ms)보다 35.5% 빠르며, ABot-M0 (46.1 ms)의 속도보다 두 배 이상 빠릅니다.
3. 수학적 해부: 32개 메모리 레지스터 및 10단계 오일러 흐름 매칭
Kyutai REKI의 효율성의 핵심은 **정적 지각 추출(perceptual extraction)**과 연속 궤적의 확률적 생성(stochastic generation of continuous trajectory) 사이의 엄격한 분리에 있습니다. 이전 VLA 모델 접근 방식에서 로봇에게 메모리를 부여하려면, t-2, t-1 및 t 프레임의 시각 토큰을 대규모 비전-언어 모델(VLM)의 입력에 연결해야 했고, 이는 아키텍처의 가장 무거운 구성 요소의 어텐션 비용을 세 배로 증가시켰습니다.
Fluxo de Memória em Registradores e Integração ODE de Euler no Kyutai REKI
Kyutai 팀은 이 논리를 뒤집어 메모리를 2억 개 매개변수를 가진 액션 전문가(action specialist) 내부에 배치했습니다:
Pipeline de Inferência do Especialista de Ação REKI: 32 registradores em cache, self-attention temporal e 10 passos de Euler
3.1 관찰과 흐름 시간의 분리 (au)
정류 매칭(Flow Matching) 패러다임에서, 미래 액션 블록 $A_t^{(H imes D)}$의 생성은 속도 벡터장 $v_{ heta}(A_t^{au}, au | O_t, S_t)$를 흐름 시간 $au$ $[0, 1]$을 따라 $N=10$개의 이산 오일러(Euler) 단계에 걸쳐 적분함으로써 이루어집니다:
$A_t^{(au + ext{Δ} au)} = A_t^{au} + ext{Δ} au ullet v_{ heta}(A_t^{au}, au | R_t, R_{t-1}, R_{t-2}, S_t ), ext{Δ} au = 0.1$
만약 32개의 $R_t$ 레지스터 토큰이 노이즈 액션 토큰 $A_t^{au}$나 적분 순간 $au$에 의존한다면, 매 프레임마다 10번(오일러 단계마다 한 번씩) 재계산되어야 합니다. 이러한 낭비를 피하기 위해 REKI의 어텐션 마스크는 영리한 구조적 제약을 적용합니다: 레지스터는 결코 액션 토큰을 읽지 않습니다. 대신, 현재 프레임의 시각 및 텍스트 표현과만 _cross-attention_을 수행하고, 과거 프레임에서 저장된 레지스터와는 인과적(causal) _self-attention_을 수행합니다.
그 결과:
-
32개의 레지스터는 오일러 루프가 시작되기 전에 프레임당 단 한 번만 계산됩니다.
-
오일러 적분(Euler integration)의 10단계 동안, 액션 토큰들은 이미 메모리 캐시에 준비된 레지스터들을 참조합니다.
-
따라서 시간적 메모리의 증가 비용은 추론당 0.1 밀리초로 떨어지고, 저장되는 프레임당 단 2 MiB의 VRAM만 소비합니다.
4. 전체 Python 코드: 레지스터 캐시 및 오일러 흐름 일치(Euler Flow Matching)를 사용한 비동기 VLA 컨트롤러
