SenseNova-U1-8B-MoT: 새로운 오픈소스 다중모달 이해 및 이미지 생성 모델의 구조적 혁신

SenseNova 는 지난 4 월 마지막 날에 SenseNova-U1 을 출시했고, 저는 이 서브에서 이에 대해 거의 언급되지 않은 다른 포스트 하나만 찾았습니다. 저에게 매우 흥미로운 새로운 아키텍처로 보입니다. 텍스트-인포그래픽 생성이 주요 고점 중 하나로, 이미지 편집, 생성 및 시각적 이해에 뛰어납니다. 기존에 본 다중모달 모델의 전통적인 믹스업 (VAE 없음) 타입이 아닙니다.

다음은 Hugging Face 의 내용입니다:
https://huggingface.co/sensenova/SenseNova-U1-8B-MoT

———
Overview

SenseNova U1 은 다중모달 이해, 추론 및 생성을 단일 아키텍처로 통합하는 새로운 다중모달 모델 시리즈입니다. 이는 다중모달 AI 의 근본적인 패러다임 전환을 의미합니다: 모달리티 통합에서 진정한 통합으로. SenseNova U1 모델은 모달리티 간 번역에 의존하지 않고 언어와 시각 정보를 원생적으로 사고하고 행동합니다.

시각적 이해 및 생성의 통합은 엄청난 가능성을 열었습니다. SenseNova U1 은 데이터 기반 학습 (ChatGPT 와 유사) 단계에 있지만, 다음 단계인 에이전트 학습 (OpenClaw 와 유사) 과 원생적인 다중모달 방식으로 사고를 지향합니다.

핵심 기둥:

• NEO-Unify 는 다중모달 AI 를 위한 1 차원 원칙에서 설계된 새로운 아키텍처로, 픽셀-워드 정보가 본질적으로 깊게 상관관계가 있는 Visual Encoder (VE) 와 Variational Auto-Encoder (VAE) 를 제거합니다. 몇 가지 중요한 특징은 다음과 같습니다:

• 모델 언어 및 시각 정보를 통합된 화합물로 엔드투엔드로 처리.

• 픽셀 수준의 시각적 충실도를 유지하면서 의미의 풍부함을 보존합니다.

• 원생적인 MoT 를 통해 모달리티 간 추론을 높은 효율성과 최소한의 충돌로 수행합니다.

• 오픈소스 SoTA: 이해 및 생성 모두에서 SenseNova U1 은 통합된 다중모달 이해 및 생성을 위한 새로운 표준을 설정하며, 다양한 이해, 추론 및 생성 벤치마크에서 오픈소스 모델 중 최상위 성능을 달성합니다.

• 원생적인 인터리브드 이미지-텍스트 생성: SenseNova U1 은 하나의 모델로 단일 흐름에서 일관된 인터리브드 텍스트와 이미지를 생성할 수 있어, 명확한 소통과 생생한 스토리텔링을 결합하고 복잡한 정보를 직관적인 시각 자료로 변환하는 실용 가이드 및 여행 일기 등의 사용 사례를 가능하게 합니다.

• 고밀도 정보 렌더링: SenseNova U1 은 밀집된 시각적 소통에 강한 능력을 보여주며, 지식 일러스트레이션, 포스터, 프레젠테이션, 만화, 이력서 및 기타 정보 풍부한 형식을 위한 풍부하게 구조화된 레이아웃을 생성합니다.

Beyond Multimodality:

• Vision–Language–Action (VLA)
• World Modeling (WM)

———

그들은 또한 Hermes 같은 에이전트에 모델을 플러그인으로 연결하기 위한 여러 에이전트 기술을 출시했습니다. 여기 그들의 기술 리포지토리는:
https://github.com/OpenSenseNova/SenseNova-Skills

기술은 아마도 호스팅된 API 로 트래픽을 유도하도록 설정되었을 것입니다. 하지만 저는 이를 로컬 엔드포인트로 지시하도록 수정하는 것이 매우 쉬울 것이라고 확신합니다. (저는 현재 이것을 위해 작업 중입니다).

이게 hype 를 충족하는지 확인해 본 사람이 있는지 궁금합니다.