FLUX 모델의 업데이트를 정말 오랜만에 보네요~

FLUX 3는 이미지, 비디오, 오디오, 그리고 로봇 동작 예측(robot action prediction)을 하나의 모델에 담았습니다.

Black Forest Labs는 이번에 바로 통합 아키텍처(unified architecture)를 선보였으며, 하나의 멀티모달 백본(multimodal backbone)이 이미지 생성, 비디오, 네이티브 오디오(native audio)를 동시에 처리하고, 심지어 로봇 동작 예측까지 확장할 수 있습니다.

현재 비디오는 얼리 액세스(early access)가 오픈되었으며, 향후 가중치(weights)도 공개될 예정입니다. 또한 이미 mimic, Audi와 협력하여 실제 로봇에서 구동하는 데 성공했습니다.

이것은 단순히 "몇 가지 모달리티(modality)를 추가한 것"이 아닙니다. 그들은 물리 세계의 지능과 콘텐츠 제작이 본질적으로 동일한 시각 기초 모델(vision foundation model) 위에서 작동할 수 있다고 명확히 제시하고 있습니다.

실제 비디오를 생성하는 것과 로봇이 어떻게 움직여야 하는지를 예측하는 것은, 세계에 대한 동일한 이해 체계를 공유합니다.