SenseTime는 시각 인코더 (Visual Encoder)나 VAE 없이 픽셀-단어 공간 (Pixel-word space)에서 추론하는 옴니모달 (Omni-modal) AI를 오픈 소스로 공개하며, 기존의 지배적인 멀티모달 (Multimodal) 아키텍처에 도전장을 내밀었습니다. SenseTime는 픽셀과 단어 공간에서 공동으로 추론하는 최초의 AI 모델이라고 주장하는 모델을 오픈 소스로 공개했습니다. 이 아키텍처는 전통적인 시각 인코더 (예: CLIP, SigLIP)와 VAE 디코더 (Decoder)를 제거합니다.

주요 사실:

• 시각 인코더 (CLIP, SigLIP)를 사용하지 않음.
• 이미지 생성을 위한 VAE 디코더가 없음.
• 픽셀-단어 공간에서 추론하는 최초의 옴니모달 (Omni-modal) 모델.
• 오픈 소스 릴리스에는 가중치 (Weights)와 코드가 포함됨.
• 아직 공개된 벤치마크 (Benchmark) 수치는 없음.

SenseTime는 픽셀과 단어 공간에서 공동으로 추론하는 최초의 AI 모델이라고 주장하는 모델을 오픈 소스로 공개했습니다. 이 아키텍처는 전통적인 시각 인코더 (예: CLIP, SigLIP)와 VAE 디코더를 제거하는 대신, 두 양상 (Modalities) 모두를 아우르는 통합된 표현 (Unified representation) 내에서 직접 추론을 수행합니다. 이 모델은 언어 추론을 하기 전에 이미지를 잠재 코드 (Latent codes)나 토큰 (Tokens)으로 변환하는 대신, 단일 통합 표현 내에서 두 양상을 모두 처리하고 생성합니다. 이러한 옴니모달 (Omni-modal) 접근 방식은 시각 인코더 (CLIP, SigLIP 등)를 사용하여 이미지를 언어 모델 토큰 공간으로 투영한 다음, 이미지 생성을 위해 VAE를 통해 디코딩하는 GPT-4V, Gemini 또는 LLaVA와 같은 이전 연구들과 대조됩니다. SenseTime의 모델은 추론 체인 전체에서 픽셀 수준의 충실도 (Pixel-level fidelity)를 유지하며, 이는 잠재적으로 더 세밀한 시각적 이해와 생성을 가능하게 할 수 있습니다. [@hasantoxr에 따르면]

오픈 소스 릴리스에는 모델 가중치 (Weights), 추론 (Inference) 코드 및 기술 보고서가 포함되어 있습니다. 초기 발표에서는 벤치마크 (Benchmark) 수치가 공개되지 않았습니다. 이 저장소 (Repository)는 멀티모달 추론 (Multimodal reasoning), 시각적 생성 (Visual generation) 및 통합 아키텍처 (Unified architectures)를 연구하는 연구자들을 대상으로 하는 것으로 보입니다. 핵심 질문은 이 통합 표현 (Unified representation)이 GPT-4V 수준의 성능으로 확장될 수 있는지 여부입니다.

픽셀-단어 결합 모델에 대한 이전 시도들(예: Meta의 CM3leon, 2023)은 가능성을 보여주었으나, VQAv2나 MS-COCO captioning과 같은 표준 벤치마크 (Benchmark)에서는 별도의 인코더 파이프라인 (Separate-encoder pipelines)에 비해 뒤처지는 모습을 보였습니다. SenseTime의 모델은 표현의 일관성 (Representational coherence)을 위해 모듈성 (Modularity)을 희생했을 수 있으나, 공개된 지표 (Metrics)가 없어 비교가 불가능합니다.

독특한 관점: 이번 출시는 '인코딩 후 결합 (Encode-then-concatenate)' (비전 인코더 + LLM)이라는 지배적인 멀티모달 패러다임에 도전합니다. 만약 이 모델이 경쟁력 있는 성능을 보여준다면, 옴니모달 (Omni-modal) 추론이 별도의 디코더 (Decoder) 없이도 픽셀 수준의 편집 (Pixel-level editing)과 같은 새로운 기능을 가능하게 하면서 모듈형 파이프라인에 필적할 수 있음을 입증하게 될 것입니다. 오픈 소스 공개는 실험을 가속화하지만 동시에 정밀한 검증을 요구합니다. 벤치마크 수치가 없다면 그 주장은 검증되지 않은 상태로 남게 됩니다.

주목할 점: 기술 보고서(Technical report)에서 표준 멀티모달 작업(VQAv2, MS-COCO captioning, MMLU)에 대한 벤치마크 결과가 발표되는지 지켜보십시오. 시각적 추론 (Visual reasoning) 작업에서 GPT-4V 또는 Gemini와의 비교가 이루어진다면 옴니모달 접근 방식의 유효성을 입증할 수 있을 것입니다. 원문은 gentic.news에 게시되었습니다.