도입 RxBrain ( Hy-Embodied-RxBrain-1.0 )은 체화된 인지(embodied cognition)를 위한 통합 멀티모달 파운데이션 모델입니다. 이 단일 모델은 언어 추론과 시각적 상상력을 결합하여 세 가지 핵심 기능을 제공합니다:
🤖 체화된 이해 및 추론 (Embodied Understanding & Reasoning) — 이미지와 다중 프레임 비디오에 대한 질문 답변 및 사고의 사슬(chain-of-thought).
🔮 세계 상태 예측 (World State Prediction) — 특정 행동이 물리적 세계에서 생성할 근미래 프레임을 상상합니다.
🧩 공동 하위 목표 계획 (Joint Subgoal Planning) — 작업을 단계로 분해하고, 각 단계에 대해 다음 행동(언어)과 도달해야 할 목표 이미지(시각)를 모두 방출합니다. 이 기능들은 인터리브드 생성(interleaved generation)을 통해 통합됩니다: 단일 자기회귀 시퀀스 내에서 RxBrain은 추론 텍스트와 흐름 일치(flow-matched) 상상 프레임을 번갈아 가며 출력합니다. 학습된 <Image> 토큰이 언제 상상할지 결정하므로, 체화된 계획은 무엇을 할 것인지와 세상이 어떻게 보여야 하는지를 단계별로 연결합니다.
⭐️ 주요 특징
🧠 통합 Mixture-of-Transformers (MoT): 모달리티별 경로(텍스트 / 비전 / 생성)를 가진 약 6.2B 파라미터의 백본으로, 이해와 이미지 합성이 별도의 타워가 아닌 하나의 자기회귀 모델을 공유합니다.
🎨 Flow-Matching Image Head: 상상된 프레임은 흐름 일치 헤드(flow-matching head)에 의해 생성되며, 고정된 FLUX VAE 잠재 공간으로 디코딩되어 텍스트-이미지, 다중 프레임 세계 모델 롤아웃, 그리고 목표 이미지 계획을 가능하게 합니다.
🔗 인터리브드 추론 + 상상력: 텍스트 추론과 생성된 프레임이 하나의 시퀀스에서 출력되어, 기호적 계획(symbolic plans)과 시각적 목표를 연결합니다. submitted by /u/jacek2023 [link] [comments]